广告联盟网

标题: Google的爬虫在我的网站上爬了几天了, 一个也没有收录 [打印本页]

作者: liushui05 时间: 2006-6-20
标题: Google的爬虫在我的网站上爬了几天了, 一个也没有收录
这些是我监控到的数据，郁闷的是爬虫爬了几天了，不收录一个页面

17:54:43,309 INFO  [STDOUT] Mediapartners-Google/2.1
17:54:43,309 INFO  [STDOUT] 66.249.72.78

17:54:46,237 INFO  [STDOUT] Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
17:54:46,237 INFO  [STDOUT] 66.249.72.71

17:54:48,182 INFO  [STDOUT] Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
17:54:48,182 INFO  [STDOUT] 66.249.72.68

17:54:49,810 INFO  [STDOUT] Mediapartners-Google/2.1
17:54:49,811 INFO  [STDOUT] 66.249.72.79

17:54:51,437 INFO  [STDOUT] Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
17:54:51,437 INFO  [STDOUT] 66.249.72.84
.....

作者: Shift 时间: 2006-6-20
不要着急,GG不同百度,这次的来访,可能一个星期后才体现的.

作者: 大大 时间: 2006-6-20
蜘蛛到只能说明它来过，至于是不是收录得看它怎么定义你的网站，有可能它们认为你的网站有问题不收录呢。

作者: Lxyanzi 时间: 2006-6-20
本来GG没有收录我的站，这两天收录了，但却一个IP也没有？

作者: sun 时间: 2006-6-20
楼主这些信息是用什么监控到的？

作者: sun 时间: 2006-6-20
好像爬虫爬过以后一周到一个月才会显示。
搜索数据库里有的，不一定可以搜索的到。百度是这样，估计Google也差不多吧。

作者: davidyin 时间: 2006-6-20
spider只是收集数据，还要分析处理数据，作index之类的。需要时间的。

作者: AppleTree 时间: 2006-6-20
使用sitemaps

作者: liushui05 时间: 2006-6-20
楼主这些信息是用什么监控到的？
==========================
我用的是JSP的过滤器机制呀

作者: 狗狗 时间: 2006-6-21
在GG上用”site:www.xxx.com *“ 查看比”site:www.xxx.com“查看到的东西要多,所以你用site:.... *看看

作者: davidyin 时间: 2006-6-21
我的结果同你相反。
site:www.xxx.com
的形式结果多

作者: liushui05 时间: 2006-6-22
搜索引擎爬虫够恶的了，整天爬来爬去，访问的人倒是一般，多半都是搜索引擎爬虫过来的

作者: zyl0414 时间: 2006-6-22
很正常，这是做爱之前的调情阶段。

欢迎光临广告联盟网 (https://bbs.ggads.com/)