Google和Baidu收录网站页面的标准

powercai

Google和Baidu收录网站页面的标准是不同的。
为了验证这一点，我做一个实验：我申请了一个新域名 ，不再其他任何网站做链接，而直接往百度和Google搜索引擎的提交页面进行提交。一个月过去了，百度收录的网页是24,900篇，Google收录的网页是0，这证实了我以前的猜测。
　　　　　　
这说明了什么呢？说明百度比Google好吗？绝对不是的。因为Baidu和Google收录页面的标准是完全不同的。
　　　　　　
Google是按照网页级别来收录的，只要你有一定的网页级别，Google会快速收录的，而没有网页级别的网站，Google则坚决不去收录。Baidu则很夸张，采用的是来者不拒，多多益善的原则，无休止的进行收录。Baidu的这种不按网页级别的收录方式其实有很大的恶果，最主要的恶果是造成大量的垃圾网站流行，因为只要做一个垃圾站，Baidu就会立刻收录（25000页以内），这等于变相的鼓励大家去做垃圾站，去盲目采集。当垃圾站横行的时候，Baidu再通过人工的方式封站，对于大流量的网站再威胁其站长办理百度竞价排名。因此Baidu和大量的个人站长都结有恩怨。
　　　　　　
这两种收录方式哪种更好呢？我个人认为Google的这种收录方式是比较科学的。因为互联网上的页面是个天文数字，收录应该是有选择的收录，好的网站则多收录，新站则应该少收录，等其慢慢知名了以后再多收录，这样也提高了效率，让用户搜索到更好的页面而不是更多的页面。而且Google的爬虫占用服务器的资源较少，通常是先用head来查看网页是否更新，如果更新了再抓取整个页面，这种方法耗费流量较少。而百度则不管三七二十一上来就抓整个站，而且其爬虫数量非常庞大，对于页面较多的网站通常会耗费惊人的流量，并且常常造成恶劣的后果。例如我以前的月光软件站有一段时间CPU耗费极大，IIS连接数也逼近1000，每天流量高达10多G，电信机房总威胁要限制我的带宽，我以前一直以为是被别人DDOS攻击，但是我购买了新的服务器，换了几个IP，甚至更换了几个机房，依然无法解决问题，不得已只好将服务器托管到外地流量充裕的机房，但CPU负荷还总是居高不下。直到我网站被百度封了后，百度爬虫也不再光故，这时我才惊奇地发现，我的CPU和流量终于处于一种稳定合理的状态了，到目前为之，我站每天流量也有十多G，但CPU一直都没有超过5%，服务器也很少出现死机和大量IIS连接的状况，因此我开始怀疑，以前的所谓被DDOS攻击，其实只是大量的百度爬虫在抓取我的网站而已，由于其爬虫数量庞大，才引起我服务器的超负荷运转以至濒于崩溃。
　　　　　　
当然，百度这种“贪婪”爬虫抓取方法，虽然会让用户能够在百度搜索出一些Google里搜索不到的页面，但这实在是损人利己。其带给网站站长不少负面效果：服务器和带宽资源过度消耗，垃圾站被变相鼓励了，原创的有特色的网站则被边缘化，MP3音乐网站则更苦不堪言－自己的MP3被百度盗链后带来大量文件下载却没有带来页面访问。
　　　　　　
因此，中国的网民也出现了很奇怪的现象：大量的新网民和菜鸟新手喜欢用百度搜索，因为百度往往搜索到很多别处搜索不到的页面，但内容的匹配度则令人质疑，而专业人士和老鸟则更喜欢用Google，个人站长则普遍和百度有“个人恩怨”。因此百度在业界的Blog以及社区中口碑都不太好，但在普通的低层次的网民心中却不错，这些大量的普通网民给百度带来了大量流量。
　　　　　　
其实百度也发现这样所带来的问题。网络新手和普通网民的影响力微不足道，被Hao123这样的流氓网站强奸了，也不会反抗，用Hao123时间长了反而会依赖和喜欢上这样的低级网站。而IT专业人士则不同，他们建网站、写博客、开论坛，他们可以影响一大批普通用户，如果百度长期依靠低端用户而和大量站长结怨的话，其发展前景也是令人质疑的。

powercai

这么多人看了，没得人发言。大家没得体会？

boom

第一次看到，不错。。有参考价值。

3zhipeng

我都用百度，虽然GG插件装了不过都不搜，原因很简单，百度可以搜索到我想要的答案，GG找不到。

davidyin

原帖由 3zhipeng 于 2006-11-13 20:35 发表我都用百度，虽然GG插件装了不过都不搜，原因很简单，百度可以搜索到我想要的答案，GG找不到。

baidu和Google都有自己的用户，就看用户的习惯和要找的内容。

比如找mp3，上Google就不太能够找到能够下载的，因为违反版权，而baidu不介意，可以找到很多。

xltest0501

照楼主的说法是ＧＯＯＧＬＥ在鼓励做大的采集站

poplar1987

不是很了解

兴鹤大街

主要的恶果是造成大量的垃圾网站流行，因为只要做一个垃圾站，Baidu就会立刻收录（25000页以内），这等于变相的鼓励大家去做垃圾站，去盲目采集
==================================


咋说你呢？

法律上有“疑罪从无”，难道就是鼓励你成为罪犯

说话一惊一咋的，语不惊人就不活了呀？