С 15 сентября провайдер сетевой инфраструктуры Cloudflare переводит защиту веб-ресурсов на новый уровень: по умолчанию будет активирована блокировка всех «смешанных» краулеров на базе искусственного интеллекта. Это решение — прямой ответ на растущую нагрузку на серверы издателей и эскалацию проблем с интеллектуальной собственностью в эпоху генеративного ИИ.

Речь идет о ботах, которые совмещают функции поискового индексирования, обучения моделей и работы ИИ-агентов в одном флаконе. Cloudflare настаивает на четком разделении этих задач. Издатели хотят сохранять видимость в поисковой выдаче и ИИ-сервисах, но категорически не готовы отдавать свой контент бесплатно для обучения конкурентных моделей или генерации ответов, которые обходят первоисточники.

Как подчеркивают в компании, интернет движется к экосистеме «нулевого клика», где чат-боты поглощают оригинальный контент для мгновенных ответов, полностью игнорируя авторов. Мы уже прошли путь от SEO к AEO (оптимизация под ответы), а теперь стоим на пороге GEO (оптимизация под генеративный ИИ). Эта блокировка — попытка вернуть контроль владельцам сайтов.

Ключевой фактор, который подтолкнул Cloudflare к ужесточению, — статистика. Более 50% трафика от ИИ-краулеров приходится на повторное сканирование одних и тех же страниц, которое не приносит ни пользы, ни новых данных. Это чистая нагрузка на инфраструктуру без какой-либо отдачи.

Новые правила коснутся всех клиентов бесплатного тарифа, новых пользователей и действующих сайтов. Владельцы хостингов, впрочем, смогут вручную отключить эту опцию, если сочтут, что «смешанные» боты приносят им пользу.

Параллельно Cloudflare развивает коммерческую модель Pay Per Use для издателей. Теперь оплата взимается не просто за доступ к материалу, но и в случаях, когда контент признается ценным для ИИ-сервиса. На старте партнерами стали Ceramic.ai и You.com. Издатели получают выплаты, если их материалы появляются в выдаче чат-ботов.

Мнение эксперта: Это логичный шаг в борьбе за суверенитет контента. Однако проблема в том, что крупные игроки вроде OpenAI и Google уже накопили гигантские объемы данных до введения таких ограничений. Блокировка «смешанных» краулеров — это скорее защита будущего контента, а не исправление прошлых ошибок. Рынок явно движется к модели, где каждый запрос к ИИ будет монетизироваться, и Cloudflare пытается застолбить место главного арбитра в этой новой экономике.