采集别人的站是一个苦差事

ggads · 发表于 2005-9-2

最近心血来潮采别人的一个站,60万条数据昨天采了一夜才下来10万条,空间占了2G多
不知道入库要多少时间,生成还要多少时间,想想就怕

maoyiwei · 发表于 2005-9-12

采集可以自动完成吗

AppleTree · 发表于 2005-9-8

要是页面结构良好就比较容易，要是比较烂可真麻烦。
有的时候用正则，有的时候就干脆截字符
没找到合用的采集程序
以前看到过国外的一个程序，可以选择页面内容，然后生成WEBSERVICE,很牛

ggads · 发表于 2005-9-2

QUOTE:

Originally posted by BingQ at 2005-9-2 01:40 PM:
哪个采集程序好点，动易的那次看了一下好复杂，没有弄

如果你想用某个现成的采集程序就算了,因为一般的好点的信息站点都有防采集的设置
程序得自己写,采完以后还得分析代码和入库再生成

ggads · 发表于 2005-9-2

没什么用途,也不是针对搜索引擎
只是看到那么多人在采集,也是一个站长吹牛B说没有人可以采集他的站我们才干的
纯粹好玩和练手

		自动登录	找回密码
密码			注册