Cloudflare блокирует AI-сканеры: революция в защите онлайн-контента

Грунтовное изменение происходит от Cloudflare: гигант интернет-инфраструктуры блокирует основные AI-краулеры для защиты онлайн-контента. Это решение переопределяет баланс между создателями, технологическими компаниями и потребителями, обещая революционизировать управление и защиту данных в Интернете.

Борьба с AI-краулерами: решение Cloudflare

Cloudflare запустила с первого июля наступление против основных компаний искусственного интеллекта, которые собирают данные с веб-сайтов без разрешения. Как заявила сама компания, AI-краулеры будут блокироваться по умолчанию на всех новых сайтах, которые используют Cloudflare, если владельцы не предоставят явное разрешение. В прошлом, однако, именно менеджеры сайтов должны были активно исключать AI-ботов из сбора своих данных.

Это инверсия логики защищает более 20% интернета, доля которого покрыта клиентами Cloudflare, и отвечает на растущее количество сообщений о замедлении и сбоях, вызванных экстраординарными потоками автоматизированных запросов, поступающих от ботов крупных AI, таких как GPTBot от OpenAI и ClaudeBot от Anthropic.

Влияние ИИ-краулеров: цифры этого явления

Объем трафика, генерируемого ИИ-ботами для обхода, достиг впечатляющих уровней. Например, GoogleBot обнаружил, что Vercel, облачный хостинг-сервис, получает более 4,5 миллиардов запросов в месяц от этих программ. В отличие от обычных поисковых роботов, ИИ-боты агрессивно обращаются с серверами, посещая одни и те же страницы несколько раз в течение нескольких часов или обстреливая сайты сотнями запросов в секунду.

Результат? Более медленные сайты, трудности с доступом для реальных пользователей и широко распространенное чувство, что они подвергаются настоящей "экстракции" контента без правил или компенсации. Множество издателей и компаний, от Ассошиэйтед Пресс до Конде Наст и Цифф Дэвис, осудили практику массового и несанкционированного сбора данных крупными технологическими компаниями для ИИ.

Новые правила и технологии для защиты содержимого

Шаг Cloudflare не ограничивается поверхностным запретом. Компания действительно объявила о применении машинного обучения и поведенческого анализа для обнаружения даже так называемых "теневых скреперов", замаскированных ботов, которые пытаются обойти традиционные блокировки. Таким образом, будут перехвачены не только объявленные краулеры, но и более сложные попытки скрапинга.

Более того, поставщики ИИ теперь должны будут запрашивать разрешение, прежде чем получить доступ к данным, четко указывая цели использования, будь то для обучения алгоритмов или простых функций поиска. Таким образом, Cloudflare возвращает издателям возможность решать, кто может взаимодействовать с их информацией.

Протесты основных издательских групп способствовали появлению этой новой политики. Текущие системы исключения, такие как традиционный robots.txt, часто игнорируются ИИ-ботами, которые, как правило, «добывают» информацию из интернета, не следуя правилам уважения к цифровой интеллектуальной собственности.

Плата за обход: к новой экономической модели контента

Революция, подписанная Cloudflare, также вводит другую новинку: программу Pay Per Crawl. Эта система, находящаяся в частной бета-версии, позволит издателям устанавливать цены доступа для тех, кто желает использовать их контент в целях обучения ИИ. Доступ будет разрешен только после оплаты, в противном случае он будет отказан.

С технической точки зрения Cloudflare будет использовать код HTTP 402 "Требуется оплата", который возвращается неактивированным краулерам. Потенциально эффективное решение, уже готовое к внедрению благодаря своей совместимости с существующими веб-системами.

Реакции из мира ИИ и регуляторные проблемы

Решение Cloudflare непосредственно влияет на компании в области ИИ, которые до сих пор не желали платить лицензии или сборы. Николас Томпсон, генеральный директор The Atlantic, подчеркнул, что до сих пор компании могли действовать безнаказанно, тогда как теперь им придется вести переговоры и признавать право собственности на контент. С другой стороны, некоторые лидеры в мире технологий, такие как Ник Клегг из Meta, предупреждают, что введение строгих ограничений может поставить под угрозу рост и инновации в секторе ИИ.

Дебаты также касаются регуляторного уровня. Отчет Бюро авторских прав признал, что некоторые использования генеративных технологий могут быть "трансформативными". Однако массовый сбор без согласия не может считаться добросовестным использованием. Позиция, которая имела значительные институциональные последствия, включая немедленную замену главы Управления интеллектуальной собственности администрацией Трампа.

Будущее защиты онлайн-контента

Инициатива Cloudflare изменяет баланс между теми, кто создает, и теми, кто эксплуатирует онлайн-контент. Возможность блокировать и монетизировать доступ к данным предоставляет издателям реальную власть над тем, где и как используются их произведения. В результате многим ИИ-компаниям придется переорганизовать стратегии и процессы приобретения данных, что приведет к большей прозрачности и сотрудничеству с миром издательства.

Поскольку цифровая экосистема адаптируется к этому парадигмальному сдвигу, вероятно, что другие крупные игроки в секторе инфраструктуры последуют примеру Cloudflare. Это может положить начало новой эпохе в защите цифровых прав, где те, кто создает ценность, будут иметь стимулы и защиту. Остаются вопросы о сроках и методах внедрения модели «Оплата за краулинг» и о том, как это повлияет на развитие искусственных интеллектов.

В постоянно меняющемся контексте мониторинг эволюции стратегий противокраулеров на основе ИИ и активное участие в дебатах становятся необходимыми для всех вовлеченных сторон. Война против несанкционированных ботов может быть лишь началом нового сезона по улучшению веба как коллективного и устойчивого актива.