Cloudflare объявила войну искусственному интеллекту и почему это касается каждого сайта

Cloudflare с 1 июля заблокировала 416 млрд запросов от ботов ИИ, пытающихся выкачать контент с сайтов клиентов компании. По словам сооснователя и CEO Cloudflare Мэттью Принса, усилия по защите ресурсов от нежелательного краулинга уже дают заметный эффект и могут изменить привычную экономику интернета.

Толчком к этим мерам стала инициатива Content Independence Day, которую Cloudflare запустила летом вместе с крупными издателями и ИИ-компаниями. Её суть в том, чтобы по умолчанию блокировать доступ ИИ-краулеров к контенту, если только разработчики моделей не заключили отдельное платное соглашение. С июля 2024 года Cloudflare предлагает клиентам готовые инструменты для автоматической фильтрации трафика от ботов, собирающих данные для обучения ИИ. По данным компании, с 1 июля 2025 года таких запросов было отбито уже 416 миллиардов.

Принс говорит, что за десятилетия бизнес-модель интернета строилась вокруг понятной логики: создатели публикуют контент, получают трафик, а затем монетизируют его через рекламу, продажи или подписки. Появление генеративного ИИ, по его словам, стало сдвигом платформы — теперь модели собирают и перерабатывают чужой контент, а пользователь всё чаще получает ответ прямо в чате или виджете, не переходя на исходный сайт. Это бьёт по создателям, которые теряют часть аудитории, а вместе с ней — и доход.

Именно поэтому Cloudflare сейчас пытается использовать своё положение инфраструктурного игрока, чтобы не дать рынку окончательно скатиться в сторону нескольких доминирующих платформ. Компания традиционно занимается ускорением и защитой веб-трафика, но на фоне взрывного роста генеративного ИИ Принс всё больше концентрируется на том, как сохранить интернет пространством, где могут выживать и расти проекты любого масштаба — от локальных СМИ до небольших сообществ и авторов.

Отдельно он раскритиковал политику Google вокруг его поисковых и ИИ-краулеров. В погоне за лидирующими позициями в ИИ Google объединил краулер, индексирующий сайты для поиска, и краулер, собирающий данные для ИИ. В результате, если сайт блокирует ИИ-бота Google, он автоматически выпадает и из поисковой индексации. Для издателей и разработчиков это становится ловушкой: они не хотят, чтобы их материалы бесконтрольно попадали в обучающие наборы, но не могут позволить себе потерять место в выдаче Google, от которого зависит значительная часть трафика.

По словам Принса, нельзя пользоваться монопольным положением «вчерашнего» рынка, чтобы закрепиться в «завтрашнем». Он прямо называет Google главным тормозом развития интернета и считает, что компания должна разделить свои краулеры для поиска и ИИ, чтобы сайты могли управлять доступом по отдельности.

Cloudflare также раскрыла ранее не публиковавшуюся статистику о том, насколько привилегированным доступом к вебу обладает Google по сравнению с другими ИИ-игроками. По оценкам компании, Google видит сейчас в 3,2 раза больше страниц, чем OpenAI, в 4,6 раза больше, чем Microsoft, и в 4,8 раза больше, чем Anthropic или Meta*. Фактически, у Google сложился уникальный обзор интернета, который усиливает его позиции и в поиске, и в ИИ.

При этом, утверждает Принс, первые результаты блокировки ИИ-краулеров для издателей и других владельцев контента выглядят многообещающе. Уникальный человеческий контент — от локальных новостных редакций, которые чувствуют региональную повестку, до пользователей Reddit, вываливающих в ленты свои самые странные или глубинные мысли, — остаётся крайне ценным сырьём для ИИ-моделей. А значит, у создателей появляется шанс выстроить новые платные модели — от лицензирования до специальных форматов партнёрства с ИИ-компаниями.

В перспективе, признаёт Принс, регулирование ИИ и доступа к контенту может потребовать вмешательства законодателей. Пока же Cloudflare пытается давить на рынок своими решениями и договорённостями, чтобы новые бизнес-модели ИИ были более плюралистичными, расширяли рынок и не концентрировали власть в руках одного-двух игроков. В этом, по его словам, нет ничего романтического — просто так у всех будет больше возможностей для роста, а значит, и у самой Cloudflare будет больше клиентов и больше интернета, который нужно защищать.

Принс сравнил происходящее с супергеройской франшизой: герой прошлого фильма превращается в злодея следующего. В его интерпретации именно Google сегодня стал тем самым «злодеем», который мешает интернету двигаться вперёд. И пока компания не согласится играть по тем же правилам, что и остальные — прежде всего разделив поискового и ИИ-краулера, — полностью закрыть контент от нежелательного обучения будет крайне сложно.

* Компания Meta и её продукты (включая Instagram, Facebook, Threads) признаны экстремистскими, их деятельность запрещена на территории РФ.