Google公司开始有争议爬行程序

googlebot收到更新许可证，它以完成一定的形式，更多地了解网站主机。
网站内容发生了后面的表格，以便搜集资料，从一个访客请求得到它。网站出版商可能希望这些细节人口细节，以改善营销活动，为例子。

Google公司认为它可以提供更好的结果向查询者所获得所需的URL后面形式，提高网站的知名度，在这一进程。 Google的网站治理员中心博客答应他们爬，一定会受到乖：

只有少数非凡有用地点接受了这一待遇，而我们的爬行剂，日益友好googlebot ，始终坚持为robots.txt ， nofollow ， noindex指令。这意味着，假如一个搜索表单，严禁在robots.txt的，我们不会爬行的任何一个URL这一种形式，将产生。同样，我们只取回获得形式，并避免形式要求任何类型的用户信息。

但是，人们关注已提出关于Google爬行形式没有被标记为被禁止的。凯文赫斯勒抱怨，在搜索引擎观察的做法可能侵犯隐私的公司数据。

虽然有信心在Google的意图，赫斯勒认为潜在的反弹，从企业的利益可能是一个问题。 "成本首席执行官，首席信息官和首席技术官，在公司远远大于给消费者带来的好处， "他说。