Cloudflare 阻止 AI 爬蟲：在線內容保護的革命

來自Cloudflare的突破性變化：這家互聯網基礎設施巨頭爲了保護在線內容，阻止了主要的AI爬蟲。這個決定重新定義了創作者、科技公司和消費者之間的平衡，承諾將徹底改革網路上數據的管理和保護。

與AI爬蟲作鬥爭：Cloudflare的決定

Cloudflare 從七月一日起，對主要的人工智能公司發起了攻擊，這些公司在未經授權的情況下從網站收集數據。正如公司本身所述，AI 爬蟲將在所有採用 Cloudflare 的新網站上默認被阻止，除非網站所有者明確授權。然而，在過去，網站管理者必須主動排除 AI 機器人收集他們的數據。

這種邏輯的反轉保護了超過20%的網路，這是Cloudflare客戶所覆蓋的份額，並回應了因來自GPTBot（OpenAI）和ClaudeBot（Anthropic）等大AI名稱的自動化請求流量異常而導致的減速和中斷的不斷報告。

AI爬蟲的影響：現象的數字

由人工智能爬蟲生成的流量已經達到了令人印象深刻的水平。例如，GoogleBot 發現，雲托管服務 Vercel 每月收到來自這些軟件的超過 45 億個請求。與普通的搜索引擎爬蟲不同，人工智能爬蟲對服務器的訪問非常激進，在幾小時內多次訪問同一頁面或者以每秒數百個請求的速度轟炸網站。

結果？網站變得更慢，真實用戶的訪問困難，以及一種普遍的感覺，即在沒有規則或補償的情況下，內容被真正的“提取”。從美聯社到康泰納仕再到齊夫·戴維斯，無數出版商和公司譴責了大科技公司對AI進行的大規模和未經授權的收集行爲。

新的規則和技術來保護內容

Cloudflare的舉動並不僅限於表面的禁令。該公司確實宣布使用機器學習和行爲分析來檢測所謂的“影子爬蟲”，這些僞裝的機器人試圖繞過常規的阻止。因此，不僅是聲明的爬蟲，連更復雜的抓取嘗試也將被攔截。

此外，AI供應商現在必須在訪問數據之前請求許可，明確說明使用目的，無論是用於算法訓練還是簡單搜索功能。因此，Cloudflare將決定誰可以與其信息互動的能力返回給出版商。

主要出版集團的抗議促成了這一新政策的誕生。目前的排除系統，如傳統的robots.txt，常常被AI機器人忽視，這些機器人傾向於在不遵循數字知識產權尊重規則的情況下“挖掘”網路。

按爬取付費：朝着內容的新經濟模型前進

Cloudflare簽署的革命還引入了另一個新穎之處：按爬取付費計劃。該系統目前處於私人測試階段，將允許出版商爲希望使用其內容進行AI訓練的人設置訪問價格。僅在支付後才會授權訪問，否則將被拒絕。

從技術角度來看，Cloudflare 將對未啓用的爬蟲使用 HTTP 402 "需要付款" 代碼。由於其與現有網路系統的兼容性，這一潛在有效的解決方案已經準備好實施。

來自人工智能領域的反應和監管問題

Cloudflare的決定直接影響了AI公司，這些公司迄今爲止一直不願支付許可證或費用。《大西洋月刊》的首席執行官尼古拉斯·湯普森強調，直到現在，這些公司可以肆無忌憚地行動，而現在他們將不得不進行談判並承認內容所有權。另一方面，科技界的一些領導者，如Meta的尼克·克萊格警告說，引入嚴格的限制可能會危及AI領域的增長和創新。

這場辯論還延伸到了監管層面。版權局的一份報告承認，某些生成技術的使用可以是“變革性的”。然而，未經同意的大規模收集不能被視爲合理使用。這一立場產生了重大機構影響，包括特朗普政府立即更換知識產權辦公室負責人。

在線內容保護的未來

Cloudflare的這一舉措重塑了內容創作者與內容利用者之間的平衡。阻止和盈利獲取數據的能力使出版商對其作品的使用地點和方式擁有真正的權力。因此，許多AI公司將需要重新組織數據獲取策略和流程，推動與出版界的更大透明度和合作。

隨着數字生態系統適應這一範式轉變，其他基礎設施領域的主要參與者可能會效仿Cloudflare的例子。這可能會引發捍衛數字權利的新紀元，在這個時代，創造價值的人將受到激勵和保護。關於採用按爬行付費模型的時機和方法以及它對人工智能發展的影響仍然存在疑問。

在不斷變化的環境中，監控反爬蟲 AI 策略的演變並積極參與討論對所有相關實體來說變得至關重要。對抗未授權機器人戰爭可能只是提升網路作爲一個集體和可持續資產的新時期的開始。