39 000 запросов в минуту: как ИИ-боты атакуют сайты и почему это хуже, чем DDoS

В новом отчёте Fastly Threat Insights исследователи проанализировали более 6,5 трлн веб-запросов в месяц, чтобы выявить новые закономерности в трафике от ИИ-ботов. Этот сегмент автоматизированных систем стремительно растёт и уже оказывает заметное влияние на инфраструктуру интернета, нагрузку на сайты и способы доступа к контенту.

По данным отчёта, пиковая активность отдельных ботов достигает 39 000 запросов в минуту к одному ресурсу, что способно перегрузить даже крупные серверы и вызвать эффекты, сравнимые с DDoS-атаками . Чаще всего под давлением оказываются площадки в сферах онлайн-торговли, развлечений и высоких технологий, чьи базы данных и обновляемые каталоги особенно интересны разработчикам языковых моделей. В результате владельцы сайтов сталкиваются с ростом расходов, искажённой статистикой посещаемости и падением производительности.

Наибольший объём трафика формируют краулеры, собирающие контент для обучения моделей, — около 80% всех запросов. При этом более половины краулинга приходится на Meta*, ещё 23% на Google и около 20% на OpenAI. Для сравнения, фетчеры — боты, которые подтягивают страницы в момент пользовательского запроса, — дают лишь пятую часть активности. Но именно они создают самые жёсткие всплески нагрузки: почти весь сегмент принадлежит OpenAI, чьи боты ChatGPT и OAI-SearchBot обеспечивают 98% всех обращений в реальном времени. Отдельные конкуренты, вроде Perplexity, пока показывают меньшие объёмы, но их доля стабильно растёт.

География источников данных играет не меньшую роль: подавляющее большинство информации для обучения поступает из Северной Америки. Это значит, что многие модели наследуют культурный и политический уклон региона. Более разнообразный охват демонстрируют Diffbot и ICC Crawler, активно собирающие материалы из Европы, Ближнего Востока и Африки. В Азии же заметен вклад японских игроков — SoftBank и государственного института NICT, сосредоточенных на локальном сегменте интернета.

Ситуация отличается по регионам и индустриям. В Северной Америке почти 90% трафика составляют краулеры, тогда как в Европе превалируют фетчеры — до 59%. Для образовательного сектора именно они являются основной проблемой: учащиеся и исследователи массово используют ChatGPT, что напрямую транслируется в нагрузку на ресурсы. В медиа и индустрии развлечений наблюдается аналогичная картина: фетчеры обращаются к свежим публикациям и новостям, создавая всплески запросов. В здравоохранении, госсекторе и электронной коммерции, напротив, до 96% обращений приходятся на краулеров.

Fastly подчёркивает, что 87% бот-трафика в целом носит вредоносный характер — от кражи учётных данных до рекламного мошенничества, — а в случае с ИИ-ботами риск заключается ещё и в бесконтрольном использовании контента и скрытой монетизации чужих ресурсов. Чтобы снизить давление, компания рекомендует многоуровневую защиту: от использования стандартов вроде robots.txt и X-Robots-Tag до внедрения капч, ограничений по скорости и специализированных решений по управлению ботами. Одним из вариантов становится перенаправление запросов на лицензионные платформы, что позволяет не только контролировать доступ, но и получать доход за использование контента при обучении моделей.

Отдельное внимание уделено и добросовестным операторам. Авторы отчёта призывают их к прозрачности: публиковать диапазоны IP-адресов, указывать User-Agent с уникальным названием, соблюдать правила robots.txt и ограничивать частоту обращений. OpenAI демонстрирует пример, открыто публикуя адресные диапазоны своих ботов, а Common Crawl поддерживает предсказуемый график сканирования, что облегчает подготовку владельцев сайтов. Нарушение этих принципов ведёт к блокировке и росту недоверия, в то время как прозрачная политика помогает выстраивать устойчивые отношения между разработчиками ИИ и интернет-сообществом.

* Компания Meta и её продукты (включая Instagram, Facebook, Threads) признаны экстремистскими, их деятельность запрещена на территории РФ.