谷奥——探寻谷歌的奥秘

又有闲人出没了，他们发现最近 Google 的 Robots.txt 又多了一行：

Disallow: /compressiontest/

但是实际上 google.com/compressiontest/  这个网址啥也没有。。。

另外有人指出，今年的2月18日，很多用户反映他们在使用 Google.com 以及诸如澳大利亚，英国的国家版 Google 进行搜索时浏览器会提示他们下载 /compressiontest 文件。经过查看 Google 的 Javascript 代码大家发现 Google 在一个隐藏的 iframe 中调用了这个文件，但是第二天这些代码就都消失的无影无踪了，这里和这里有当时的相关讨论。

也有用户猜测说这应该是一个测试 HTTP 压缩效果的空 HTML 文件，而实际情况估计只有 Google 自己才知道吧。

via blogoscoped

Related posts

• Google Reader Play 的内容开放索引？
• 【快乐周末】YouTube 的 robots.txt：机器人暴动灭绝人类？
• Google 发布 Robots.txt 详细说明
• 专门的 Googlebot-News 爬虫跟 Googlebot 合并
• Google 不仅有 robots.txt，还有 humans.txt
• Google 疑欲推 “实惠搜索” 拯救团购泡沫