走过一十二年历程的互联网品牌设计机构,专业网站开发建设,破解搜索引擎算法数据结构排名规则,独创集成子域名集权seo优化

Feedfetcher


Feedfetcher

Google 使用 Feedfetcher 抓取 Google 新闻和 PubSubHubbub 的 RSS 或 Atom Feed。 Feedfetcher 会存储并定期刷新由应用或服务的用户请求的 Feed。只有播客 Feed 才会在 Google 搜索中编入索引;但是,如果 Feed 不符合 Atom 或 RSS 规范,仍可能被编入索引。对于这款由用户控制的 Feed 抓取工具的工作原理,下文列出了一些常见问题的解答。

当用户添加使用 Feedfetcher 数据的服务或应用时,Google 的 Feedfetcher 会尝试获取相应 Feed 的内容,以便将其显示出来。由于 Feedfetcher 请求来自真实用户(而非来自自动抓取工具)的明确操作,因此 Feedfetcher 会忽略 robots.txt 规则。

如果您的 Feed 是公开的,那么 Google 无法限制用户访问该 Feed。一种解决办法是,将网站配置为向用户代理 Feedfetcher-Google 发送 404410 或其他错误状态消息。

如果您的 Feed 是由某个博客或网站托管服务提供商提供的,请直接与相应服务提供商联系,限制用户对您 Feed 的访问。

对于大多数网站,Feedfetcher 平均每小时最多检索一次 Feed。某些经常更新的网站可能会更频繁地刷新。但请注意,由于网络延迟,Feedfetcher 在短时间内检索您 Feed 的频率可能略高。

Feedfetcher 会根据用户安装的服务或应用发出的请求检索 Feed。所以可能的情况是,用户请求的 Feed 网址不存在。

Feedfetcher 会根据用户安装的服务或应用发出的请求检索 Feed。所以可能的情况是,发出请求的用户知道您的“私密”服务器,或者错误地输入了您的“私密”服务器。

只有在用户已明确启动从 Feed 请求数据的服务或应用后,Feedfetcher 才会检索这些 Feed。Feedfetcher 相当于用户的直接代理,而不是漫游器,因此它会忽略 robots.txt 中的指令。由于 Feedfetcher 会充当多位用户的代理,因此它会代表通过应用或服务请求相应 Feed 的所有用户,仅针对这个共同的 Feed 提出 1 次请求,从而节省了带宽。常见的 Feed 包括 RSS 和 Atom

您可以将服务器配置为向用户代理 Feedfetcher-Google 发送 404410 或其他错误状态消息,从而阻止 Feedfetcher 抓取您的网站。

Feedfetcher 分布在多台计算机上,以便提升性能,并随着网络规模的扩大而扩大其作用范围。为了减少带宽的使用量,所用的计算机通常位于它们正在网络中检索的网站附近。

Feedfetcher 使用的 IP 地址包含在 user-triggered-fetchers-google.json 对象中。

一般来说,Feedfetcher 在指定的 Feed 检索期间只从您的网站下载各文件的一份副本。但在极少数情况下,计算机会关闭并重新启动,这可能会导致 Feedfetcher 再次检索最近访问过的网页。

与普通的网页抓取工具不同,Feedfetcher 并不会发现要抓取的链接,它只会抓取使用 Feedfetcher 的服务或应用的用户提供给它的单个网址。

作者:跨境电商通    浏览: 13 人次    更新:2025年06月03日

Home>googleseo>Feedfetcher
电商独立站搭建方案

2025年06月03日最新跨境电商WordPress + WooCommerce金属礼品独立站定制搭建方案

2025年06月03日最新跨境电商WordPress + WooCommerce礼品独立站定制搭建方案

2025年06月03日最新跨境电商WordPress + WooCommerce计算机网络设备制造业独立站定制搭建方案

2025年06月03日最新跨境电商WordPress + WooCommerce木材礼品独立站定制搭建方案

2025年06月03日最新跨境电商WordPress + WooCommerce果蔬初加工企业独立站定制搭建方案

2025年06月03日最新跨境电商WordPress + WooCommerce小超市独立站定制搭建方案

2025年06月03日最新跨境电商WordPress + WooCommerce保健食品公司独立站定制搭建方案

2025年06月03日最新跨境电商WordPress + WooCommerce仪表独立站定制搭建方案

2025年06月03日最新跨境电商WordPress + WooCommerce布艺礼品独立站定制搭建方案

营销优化(MO)

2025年06月03日最新Google 如何解读 robots.txt 规范

2025年06月03日最新更新 robots.txt 文件

2025年06月03日最新Google 常用抓取工具列表

2025年06月03日最新如何编写和提交 robots.txt 文件

2025年06月03日最新市场营销优化(MARQ)方案

2025年06月03日最新Google 用户触发的抓取工具列表

2025年06月03日最新HTTP 状态代码以及网络连接错误和 DNS 错误对 Google 搜索有何影响

2025年06月03日最新Google Read Aloud 用户代理

2025年06月03日最新欧洲电商地域关键词SEO优化(GEO)方案

定制主题优势 vs 模板主题
  • 对比维度 定制主题 通用模板主题
  • 独特性 100%原创设计,避免同质化 可能被数百家网站使用
  • 性能优化 按需编码,无冗余代码 包含大量无用功能代码
  • 功能契合度 完全匹配业务需求 需要妥协或复杂改造
  • SEO基础 从架构层面优化SEO 通用SEO结构,效果有限
  • 维护成本 代码清晰,易于维护 复杂嵌套,维护困难
  • 扩展性 预留接口,便于扩展 扩展受模板限制
  • 加载速度 精简代码,速度更快 冗余功能拖慢速度
  • 品牌形象 强化品牌识别度 难以建立独特形象

营销优化(MO)方案申请

Contact Us
网站搭建
营销优化(MO)

申请留言 x - -
Contact Us

免费申请你的专属方案

稍后再说 现在咨询

在线咨询

Online Consulting