 
- 积分
- 43492
- 威望
- 9279
- 金钱
- 8
- 阅读权限
- 150
- 来自
- Bonn
- 在线时间
- 3551 小时
|
以个人开站的经历看,google的爬虫基本上单兵作战,百度的那是集团军。前一阵建的网站一个月百度虫子爬了不止几百遍,而且是前脚走了后脚到,不知道他们在搞什么东西,好在不计流量。可恶的是robots文件对他们基本没用。google的服务器是崩溃过,但是绝对不是因为访客太多。Youtube这么大流量google都可以应付,搜索这点根本不算什么。
问题是之后各个网站把eat baby这条都删除了,免不了让人浮想联翩。这个和善后有什么区别?
google确实之前为雅虎提供搜索服务,有一段时间雅虎搜索上还有 powered by google呢 |
|