Google和百度收录网站页面的比较

　　Google和Baidu收录网站页面的标准是不同的。我用一句话来形容，就是Google更乐于收录大站的页面，百度则乐于收录新站的页面。
　　为此我做一个实验：先申请了一个新域名，在上面放一个网站，然后不在其他任何网站做链接，而直接往百度和Google搜索引擎的提交页面进行提交。一个月过去了，百度收录的网页是24,900篇，Google收录的网页是0，这证实了我以前的猜测。
　　这说明了什么呢？说明百度比Google好吗？绝对不是的。因为Baidu和Google收录页面的标准是完全不同的。
　　Google是按照网页级别（PageRank）来收录的，只要网站有一定的网页级别，Google会快速收录的，而没有网页级别的网站，Google则坚决不去收录。Baidu则很夸张，采用的是来者不拒，多多益善的原则，无休止的进行收录。Baidu的这种不按网页级别的收录方式其实有很大的恶果，最主要的恶果是造成大量的垃圾网站流行，因为只要做一个垃圾站，Baidu就会立刻收录（25000页以内），这等于变相的鼓励大家去做垃圾站，去盲目采集。当垃圾站横行的时候，Baidu再通过人工的方式封站，甚至一些百度业务员对于大流量的网站还会要求其站长办理百度竞价排名。
　　这两种收录方式哪种更好呢？我个人认为Google的这种收录方式是比较科学的。因为互联网上的页面是个天文数字，收录应该是有选择的收录，好的网站则多收录，新站则应该少收录，等其慢慢知名了以后再多收录，这样也提高了效率，让用户搜索到更好的页面而不是更多的页面。如果对于新站不做分析就快速收录，那么会使得从技术上对抗恶意网站作弊（SEO）变得非常困难，Google通过给予新站给出一定的“考察期”来分析这个新站是否是作弊的垃圾站，而百度就只能依靠人工方式手动地删除垃圾站。对于收录网站的具体操作上，Google的爬虫显得较为“体贴”站长－Google爬虫占用服务器的资源非常少，通常是先用head来查看网页是否更新，如果更新了再抓取整个页面，这种方法耗费流量较少。而百度则不管三七二十一上来就抓整个站，有时甚至不遵守robots规则，而且其爬虫数量非常庞大，对于页面较多的网站通常会耗费惊人的流量，并且常常造成恶劣的后果。
　　当然，百度这种“贪婪”爬虫抓取方法，虽然会让用户能够在百度搜索出一些Google里搜索不到的页面，但这实在是损人利己。其带给网站站长不少负面效果：服务器和带宽资源过度消耗，垃圾站被变相鼓励了，原创的有特色的网站则被边缘化，MP3音乐网站则更苦不堪言－自己的MP3被百度盗链后带来大量文件下载却没有带来页面访问。
　　因此，中国的网民也出现了很奇怪的现象：大量的新网民和菜鸟新手喜欢用百度搜索，因为百度往往搜索到很多别处搜索不到的页面，但内容的匹配度则令人质疑，而专业人士和老鸟则更喜欢用Google，个人站长则普遍和百度有“个人恩怨”。因此百度在业界的Blog以及社区中口碑都不太好，但在普通的低层次的网民心中却不错，这些大量的普通网民给百度带来了大量流量。
　　注：本文已发布于2006年4月17日第14期《计算机世界·华南市场》

原创文章如转载，请注明：转载自月光博客 [ http://www.williamlong.info/ ]

本文链接地址：http://www.williamlong.info/archives/451.html