Cloudflare 阻止 AI 爬虫：在线内容保护的革命

来自Cloudflare的突破性变化：这家互联网基础设施巨头为了保护在线内容，阻止了主要的AI爬虫。这个决定重新定义了创作者、科技公司和消费者之间的平衡，承诺将彻底改革网络上数据的管理和保护。

与AI爬虫作斗争：Cloudflare的决定

Cloudflare 从七月一日起，对主要的人工智能公司发起了攻击，这些公司在未经授权的情况下从网站收集数据。正如公司本身所述，AI 爬虫将在所有采用 Cloudflare 的新网站上默认被阻止，除非网站所有者明确授权。然而，在过去，网站管理者必须主动排除 AI 机器人收集他们的数据。

这种逻辑的反转保护了超过20%的网络，这是Cloudflare客户所覆盖的份额，并回应了因来自GPTBot（OpenAI）和ClaudeBot（Anthropic）等大AI名称的自动化请求流量异常而导致的减速和中断的不断报告。

AI爬虫的影响：现象的数字

由人工智能爬虫生成的流量已经达到了令人印象深刻的水平。例如，GoogleBot 发现，云托管服务 Vercel 每月收到来自这些软件的超过 45 亿个请求。与普通的搜索引擎爬虫不同，人工智能爬虫对服务器的访问非常激进，在几小时内多次访问同一页面或者以每秒数百个请求的速度轰炸网站。

结果？网站变得更慢，真实用户的访问困难，以及一种普遍的感觉，即在没有规则或补偿的情况下，内容被真正的“提取”。从美联社到康泰纳仕再到齐夫·戴维斯，无数出版商和公司谴责了大科技公司对AI进行的大规模和未经授权的收集行为。

新的规则和技术来保护内容

Cloudflare的举动并不仅限于表面的禁令。该公司确实宣布使用机器学习和行为分析来检测所谓的“影子爬虫”，这些伪装的机器人试图绕过常规的阻止。因此，不仅是声明的爬虫，连更复杂的抓取尝试也将被拦截。

此外，AI供应商现在必须在访问数据之前请求许可，明确说明使用目的，无论是用于算法训练还是简单搜索功能。因此，Cloudflare将决定谁可以与其信息互动的能力返回给出版商。

主要出版集团的抗议促成了这一新政策的诞生。目前的排除系统，如传统的robots.txt，常常被AI机器人忽视，这些机器人倾向于在不遵循数字知识产权尊重规则的情况下“挖掘”网络。

按爬取付费：朝着内容的新经济模型前进

Cloudflare签署的革命还引入了另一个新颖之处：按爬取付费计划。该系统目前处于私人测试阶段，将允许出版商为希望使用其内容进行AI训练的人设置访问价格。仅在支付后才会授权访问，否则将被拒绝。

从技术角度来看，Cloudflare 将对未启用的爬虫使用 HTTP 402 "需要付款" 代码。由于其与现有网络系统的兼容性，这一潜在有效的解决方案已经准备好实施。

来自人工智能领域的反应和监管问题

Cloudflare的决定直接影响了AI公司，这些公司迄今为止一直不愿支付许可证或费用。《大西洋月刊》的首席执行官尼古拉斯·汤普森强调，直到现在，这些公司可以肆无忌惮地行动，而现在他们将不得不进行谈判并承认内容所有权。另一方面，科技界的一些领导者，如Meta的尼克·克莱格警告说，引入严格的限制可能会危及AI领域的增长和创新。

这场辩论还延伸到了监管层面。版权局的一份报告承认，某些生成技术的使用可以是“变革性的”。然而，未经同意的大规模收集不能被视为合理使用。这一立场产生了重大机构影响，包括特朗普政府立即更换知识产权办公室负责人。

在线内容保护的未来

Cloudflare的这一举措重塑了内容创作者与内容利用者之间的平衡。阻止和盈利获取数据的能力使出版商对其作品的使用地点和方式拥有真正的权力。因此，许多AI公司将需要重新组织数据获取策略和流程，推动与出版界的更大透明度和合作。

随着数字生态系统适应这一范式转变，其他基础设施领域的主要参与者可能会效仿Cloudflare的例子。这可能会引发捍卫数字权利的新纪元，在这个时代，创造价值的人将受到激励和保护。关于采用按爬行付费模型的时机和方法以及它对人工智能发展的影响仍然存在疑问。

在不断变化的环境中，监控反爬虫 AI 策略的演变并积极参与讨论对所有相关实体来说变得至关重要。对抗未授权机器人战争可能只是提升网络作为一个集体和可持续资产的新时期的开始。