Google的蜘蛛

发表日期：2010-02-15 浏览次数：3019次

我们在做网站优化的时候，经常听有朋友说。网站做的好，有利于蜘蛛爬，有利于好的排名。那到底什么是搜索引擎的蜘蛛，又叫爬虫呢。

合肥网站建设今天就和大家说说GOOGLE的搜索引擎机器人对叫蜘蛛。google机器人是Google 的web 抓取漫游器。它从web上收集文档，为Google搜索引擎建立可搜索的索引。 Googlebot是google的机器人的意思，俗称google爬虫

把火狐伪装成爬虫有什么好处呢？对经常光顾verycd的朋友们非常有用。可以免登录看贴。首先我们用火狐测试一下：打开这里是不是要求你登录？

继续，设置方法，打开火狐，Ctrl+T新建一个浏览标签，输入：about:config，打开配置页面，右键点击页面选择“新建→字符串”，在弹出的窗口中输入：general.useragent.override，确定之后，输入：Googlebot/2.1 (+http://www.googlebot.com/bot.html)，继续确定，关闭窗口。

首先要介绍的是Google的"crawl caching proxy"（爬行缓存代理）。Matt举了一个ISP与用户的例子来说明它。用户上网时，总是先通过ISP获取网页内容，然后ISP就会把用户访问过的网页缓存起来备用。比如说，当用户A访问了www.seo39.com，那么中国电信（或网通等）就会把"幻灭的麦克风"发送给用户A，然后将"幻灭的麦克风"缓存起来，当用户B在下一秒钟里再访问www.seo39.com，那么中国电信就会把缓存里的"幻灭的麦克风"发送给用户B，这样就能节省了带宽。
Google最新的软件层面的升级（转移至BigDaddy）已经接近完成，因此升级后的Google各方面的能力都将得到加强。这些加强包括了更智能化的googlebot爬行、改良的规范性以及更好的收录网页能力。而在Googlebot爬行抓取网页方面，Google也采取了节省带宽的方法。Googlebot也随着BigDaddy的升级而得到了升级。新的Googlebot已经正式支持了gzip编码，所以如果你的网站开启了gzip编码功能，那么就能节省Googlebot爬行你的网页时所占的带宽。

[ 上一篇 ] 网站优化之SERP

[ 下一篇 ] 从不同的角度来看SEO

将文章分享到: