- 2
Google Reader Play 的内容开放索引？
2010年3月26日
昨天，有细心的 Google 用户发现，Google 的 robots.txt 发生了变化，增加了如下一行：
Allow: /reader/play
这是表示 Google Reader Play 的内容要开放索引了嘛？不过这个 URL 下面似乎没啥东西呀。。。
via blogoscoped
Related posts
- Google 不仅有 robots.txt，还有 humans.txt
- 【快乐周末】YouTube 的 robots.txt：机器人暴动灭绝人类？
- Google 发布 Robots.txt 详细说明
- 神秘的 Google Compression Test
- 专门的 Googlebot-News 爬虫跟 Googlebot 合并
- Google 疑欲推 “实惠搜索” 拯救团购泡沫
本站文章除注明转载外，均为本站原创编译
转载请注明：文章转载自：谷奥——探寻谷歌的奥秘 [http://www.guao.hk]
本文标题：Google Reader Play 的内容开放索引？
本文地址：http://www.guao.hk/posts/google-com-robotstxt-changed.html
本文短网址：http://guao.cc/nkD
转载请注明：文章转载自：谷奥——探寻谷歌的奥秘 [http://www.guao.hk]
本文标题：Google Reader Play 的内容开放索引？
本文地址：http://www.guao.hk/posts/google-com-robotstxt-changed.html
本文短网址：http://guao.cc/nkD
真的有一群人类或者bot天天监视着Google的robots.txt吗？还有那些CSS……
不登陆查看到的是说明和演示页面