С 15 сентября 2024 года провайдер сетевой инфраструктуры Cloudflare вводит автоматическую блокировку всех «смешанных» веб-краулеров на базе искусственного интеллекта. Это решение затронет страницы, обслуживаемые через сеть компании, и станет новой вехой в борьбе за контроль над контентом в эпоху генеративного ИИ.

Под «смешанными» понимаются боты, которые одновременно используются для поисковой индексации, обучения языковых моделей и работы ИИ-агентов. Cloudflare требует от разработчиков чёткого разделения этих функций: поисковые, обучающие и агентные краулеры должны быть изолированы друг от друга. Если один и тот же бот выполняет все три задачи, он будет заблокирован.

Причина такого ужесточения — растущее недовольство издателей и владельцев сайтов. Они хотят сохранять видимость в поисковых системах и ИИ-сервисах, но не готовы бесплатно отдавать свой контент для обучения моделей и генерации мгновенных ответов. Cloudflare отмечает, что интернет рискует превратиться в экосистему «нулевого клика», где чат-боты собирают оригинальный материал, полностью обходя первоисточники. Мы наблюдаем сдвиг от SEO к AEO (оптимизация под системы ответов), а теперь и к GEO (оптимизация под генеративный ИИ).

Кроме защиты авторских прав, новая мера направлена на снижение нагрузки на инфраструктуру. По данным Cloudflare, более 50% трафика от ИИ-краулеров приходится на повторное сканирование страниц, которое редко приносит реальную пользу. Это создаёт избыточную нагрузку на серверы, особенно для небольших сайтов.

Изменения затронут всех новых клиентов Cloudflare, действующих пользователей, а также сайты на бесплатном тарифе. Владельцы хостингов смогут вручную отключить блокировку, если сочтут это необходимым.

Параллельно компания развивает коммерческую модель для издателей — Pay Per Use. Она предполагает оплату не только за доступ к контенту, но и за случаи, когда материал оказывается ценным для ИИ-сервиса. На первом этапе Cloudflare сотрудничает с Ceramic.ai и You.com. Издатели получают выплаты, если их материалы появляются в поисковой выдаче чат-ботов.

Как аналитик, я вижу в этом шаге логичное продолжение тренда: интернет-инфраструктура перестаёт быть нейтральной платформой и начинает активно фильтровать трафик. Cloudflare, контролируя значительную долю мирового веб-трафика, фактически становится регулятором в этой сфере. Вопрос в том, насколько такие меры будут эффективны против постоянно эволюционирующих ИИ-ботов, и не приведут ли они к фрагментации сети, которую мы уже наблюдаем.