Google 使用 Feedfetcher 抓取 Google 新闻和 PubSubHubbub 的 RSS 或 Atom Feed。 Feedfetcher 会存储并定期刷新由应用或服务的用户请求的 Feed。只有播客 Feed 才会在 Google 搜索中编入索引；但是，如果 Feed 不符合 Atom 或 RSS 规范，仍可能被编入索引。对于这款由用户控制的 Feed 抓取工具的工作原理，下文列出了一些常见问题的解答。
当用户添加使用 Feedfetcher 数据的服务或应用时，Google 的 Feedfetcher 会尝试获取相应 Feed 的内容，以便将其显示出来。由于 Feedfetcher 请求来自真实用户（而非来自自动抓取工具）的明确操作，因此 Feedfetcher 会忽略 robots.txt 规则。
如果您的 Feed 是公开的，那么 Google 无法限制用户访问该 Feed。一种解决办法是，将网站配置为向用户代理 Feedfetcher-Google 发送 404、410 或其他错误状态消息。
如果您的 Feed 是由某个博客或网站托管服务提供商提供的，请直接与相应服务提供商联系，限制用户对您 Feed 的访问。
对于大多数网站，Feedfetcher 平均每小时最多检索一次 Feed。某些经常更新的网站可能会更频繁地刷新。但请注意，由于网络延迟，Feedfetcher 在短时间内检索您 Feed 的频率可能略高。
Feedfetcher 会根据用户安装的服务或应用发出的请求检索 Feed。所以可能的情况是，用户请求的 Feed 网址不存在。
Feedfetcher 会根据用户安装的服务或应用发出的请求检索 Feed。所以可能的情况是，发出请求的用户知道您的“私密”服务器，或者错误地输入了您的“私密”服务器。
只有在用户已明确启动从 Feed 请求数据的服务或应用后，Feedfetcher 才会检索这些 Feed。Feedfetcher 相当于用户的直接代理，而不是漫游器，因此它会忽略 robots.txt 中的指令。由于 Feedfetcher 会充当多位用户的代理，因此它会代表通过应用或服务请求相应 Feed 的所有用户，仅针对这个共同的 Feed 提出 1 次请求，从而节省了带宽。常见的 Feed 包括 RSS 和 Atom。
您可以将服务器配置为向用户代理 Feedfetcher-Google 发送 404、410 或其他错误状态消息，从而阻止 Feedfetcher 抓取您的网站。
Feedfetcher 分布在多台计算机上，以便提升性能，并随着网络规模的扩大而扩大其作用范围。为了减少带宽的使用量，所用的计算机通常位于它们正在网络中检索的网站附近。
Feedfetcher 使用的 IP 地址包含在 user-triggered-fetchers-google.json 对象中。
一般来说，Feedfetcher 在指定的 Feed 检索期间只从您的网站下载各文件的一份副本。但在极少数情况下，计算机会关闭并重新启动，这可能会导致 Feedfetcher 再次检索最近访问过的网页。
与普通的网页抓取工具不同，Feedfetcher 并不会发现要抓取的链接，它只会抓取使用 Feedfetcher 的服务或应用的用户提供给它的单个网址。
免费申请你的专属方案
Online Consulting
