而且,baidu spider不但狠,还伪装成为IE来疯狂更新和缓存快照, 我观察大概一年多了,发现很多没有来源的访问在短时间内(3-5分钟)批量访问,速度达到 50页/s, 后确认是BAIDU放出来的机器人, 这些访问根本不符合robot访问规则. 为什么baidu要伪装成为IE来访问?
你可以这样来验证: 新申请一个域名, 要从未使用过,没有在网上留下过网址,然后添加些内容, 最后在baidu提交, 记住不要在任何地方留下网址, 在baidu收录后,不久你就可以看到每天有很多伪装成为IE的用户(没有来源)来读取页面. |