我正在做的一个采集器

123mmm

原帖由 sunya 于 2006-11-6 04:05 发表晕，我感觉采集器应该是个“寄生虫”而不是文本筛选器。

呵呵。大概就是大站更新了，寄生虫程序就跟着更新，如果没更新，那我也不更新。

同时多个频道，多线程实现程序http读文本。

对这样的程序很感趣，想不想换包烟钱?

hay

原帖由 sunya 于 2006-11-6 04:05 发表晕，我感觉采集器应该是个“寄生虫”而不是文本筛选器。

呵呵。大概就是大站更新了，寄生虫程序就跟着更新，如果没更新，那我也不更新。

同时多个频道，多线程实现程序http读文本。

火车3.0是可以使用定时任务的，如果时间设置上比较合适的话，基本上可以实现与采集源同步更新，呵呵，

发现火车3还是有些问题，比如：如果采集源速度慢的话，文章下载成功率就会很低，

我现在测试的方法是：flashget或者nettransport批量下载，程序自动分析、提取入库。