4

为什么 robots.txt 禁止抓取的页面还会出现在 Google 搜索结果中

2009年10月8日

Matt Cutts 在最近的Google Webmaster视频提到，很多站长抱怨Google的搜索引擎对他们的robots.txt文件视而不见，他们不想让有些网页被Google索引到，但是他们还是发现这些网页url还是出现在了Google的搜索结果里面。

Matt说，robots.txt告诉搜索搜索引擎别抓这个页面，Google也确实遵守约定不抓这个页面，这也是你在搜索结果该链接下面看不到摘要片段的原因。

那为什么这些页面还会出现在Google的搜索结果里面呢？Matt举例子说，搜索California DMV，会指向www.dmv.ca.gov这个网站，尽管这个站点屏蔽了所有的搜索引擎，但是Google还是给出了这个站点的链接，原因在于像纽约时报，eBay之类的站点在链接到这个站的时候都会在锚点加上说明文字"California DMV"，这就帮助Google不用抓取这个站点的页面也能返回到这个站的链接。

Matt 另外提到，他们还可以通过Open Directory Project(DMOZ)这样的网站得到url的信息，比如Metallica.com这个站也在robots.txt中禁止Google抓取页面，但是Google从Open Directory Project中就能获取Metallica.com的描述信息显示在搜索结果的摘要片段里面。

当这种情况发生的时候，好像是Google没有遵守robots.txt的约定，但是实际上不是的，matt说Google不会冒犯robots.txt的约定，不抓取页面也能返回对用户有帮助的信息

via matt




Related posts

coded by nessus
本站文章除注明转载外，均为本站原创编译
转载请注明：文章转载自：谷奥——探寻谷歌的奥秘 [http://www.guao.hk]
本文标题：为什么 robots.txt 禁止抓取的页面还会出现在 Google 搜索结果中
本文地址：http://www.guao.hk/posts/robots-txt-remove-url.html
本文短网址：http://guao.cc/Vrd
作者: 分类: Google技巧 标签: , , ,
  1. china wholesale
    2010年9月4日11:52 | #1
    回复 | 引用

    如果是这样，纵然有了robots.txt限制,只要这个robots.txt限制了的页面依然有反向链接，就依然会被收录？robots.txt限制意义何在？

    Thumb up 0 Thumb down 0

  2. ken
    2009年10月8日19:05 | #2
    回复 | 引用

    @est: 这是Matt举的例子，不必拘泥，失检之处，谢谢你细心的指出。

    Thumb up 0 Thumb down 0

  3. est
    2009年10月8日17:32 | #3
    回复 | 引用

    > 搜索California DMV，会指向www.dmv.ca.gov这个网站，尽管这个站点屏蔽了所有的搜索引擎

    谁说屏蔽了？

    http://www.dmv.ca.gov/robots.txt

    User-agent: *

    Disallow: /flash

    Disallow: /templates

    Thumb up 1 Thumb down 0

  4. 免费资源部落
    2009年10月8日12:06 | #4
    回复 | 引用

    谷歌还是很遵守robots.txt的约定，百度就不一定了

    Thumb up 1 Thumb down 0

  1. 本文目前尚无任何 trackbacks 和 pingbacks.
首次留言需审核，之后不会再审核。由于缓存机制您的留言可能不会立即显示出来，请稍后刷新本页面

您可以直接点击别人评论右侧的回复，这样您的回复评论将同时发到原作者信箱