- 1
修改 robots.txt 来屏蔽 Google News 但不屏蔽 Google
2009年12月3日
面对越来越多对Google News的讨伐，Google今天除了允许网站修改通过Google News免费观看新闻的次数，又直接为robots.txt增加了新的user agent参数，使网站可以单独控制他们的内容是否被Google搜索或Google News索引到。
可同时被Google搜索或Google News索引到：
User-agent: Googlebot
Disallow:
只能被Google搜索索引，不能被Google News索引：
User-agent: Googlebot
Disallow:User-agent: Googlebot-News
Disallow: /
可以被Google News索引，不能被Google搜索索引：
User-agent: Googlebot
Disallow: /User-agent: Googlebot-News
Disallow:
针对Google搜索和Google News，屏蔽不同的目录：
User-agent: Googlebot
Disallow: /latest_newsUser-agent: Googlebot-News
Disallow: /archives
同时禁止Google搜索和Google News索引：
User-agent: Googlebot
Disallow: /
预知详情，请看关于robots.txt的帮助。
默多克和他的新闻集团到底下手了没啊？Google给你们指出的众多方法里，默多克是不是最中意最后一种方法呢？
Via Google Webmaster Central Blog
本站文章除注明转载外，均为本站原创编译
转载请注明：文章转载自：谷奥——探寻谷歌的奥秘 [http://www.guao.hk]
本文标题：修改 robots.txt 来屏蔽 Google News 但不屏蔽 Google
本文地址：http://www.guao.hk/posts/include-pages-in-google-web-search-but-not-in-google-news.html
本文短网址：http://guao.cc/aSO
转载请注明：文章转载自：谷奥——探寻谷歌的奥秘 [http://www.guao.hk]
本文标题：修改 robots.txt 来屏蔽 Google News 但不屏蔽 Google
本文地址：http://www.guao.hk/posts/include-pages-in-google-web-search-but-not-in-google-news.html
本文短网址：http://guao.cc/aSO
好简单，自此以后google搜索不再看robot.txt了