Один разработчик остановил армию ИИ-ботов. Его проект теперь используют GNOME и ЮНЕСКО

В борьбе с назойливыми ИИ-ботами, собирающими данные с интернета, появилась мощная альтернатива, пришедшая не из крупных компаний, по типу Cloudflare, а от простых энтузиастов.

В начале 2025 года разработчик под псевдонимом Зи Иясо (Xe Iaso) выпустил открытое программное решение под названием Anubis, предназначенное для защиты сайтов от автоматических сборщиков данных. За несколько месяцев его скачали почти 200 тысяч раз, и сейчас его используют такие проекты, как GNOME — популярная среда рабочего стола на Linux, мультимедийный фреймворк FFmpeg, а также ЮНЕСКО.

Идея создания Anubis возникла после того, как собственный Git-сервер Зи начал сбоить из-за массовых запросов от ботов, собирающих данные для обучения нейросетей. Проблема проявилась неожиданно: сайт стал недоступен, и при проверке логов оказалось, что сервер перезапускался сотни раз за двое суток. Причиной оказалась активность бота, идентифицирующего себя как Amazon, который сканировал буквально каждую ссылку. Отключить открытый доступ к серверу не входило в планы, поэтому Зи решил искать другие методы защиты.

Сначала попытки ограничить доступ оказались безуспешными. Тогда разработчик загрузил экспериментальный код на GitHub, и проект быстро привлёк внимание: первым его протестировал GNOME. Это стало началом стремительного роста популярности Anubis.

Многие методы, ранее использовавшиеся для защиты от сканеров, вроде «robots.txt» или CAPTCHA, стали неэффективны. Современные боты умеют обходить эти меры. Некоторые разработчики начали создавать «бесконечные лабиринты» — системы переадресации по бесполезным ссылкам, чтобы «утомить» ботов. Похожее решение реализовала и компания Cloudflare с функцией AI Labyrinth. Однако подобные подходы требуют серьёзных вычислительных ресурсов, что делает их непрактичными для небольших сайтов.

По словам Зи, отравление обучающих выборок, популярное среди борцов с генеративными ИИ, не даёт реального эффекта — слишком затратно и не останавливает сам процесс. Вместо этого Anubis действует иначе: он проверяет, действительно ли посетитель сайта — человек, работающий через браузер, а не бот.

Для этого Anubis заставляет браузер выполнять криптографические вычисления с помощью JavaScript, доказывая, что у пользователя действительно есть рабочий браузер. Такой механизм незаметен для людей, но для ботов — серьёзное препятствие. Чтобы обойти его, ИИ-ботам пришлось бы выполнять эти вычисления в массовом масштабе, что требует колоссальных затрат ресурсов. А для обычных пользователей это практически неощутимо.

Среди преимуществ Anubis — открытый исходный код, лёгкость установки, возможность самостоятельного хостинга и совместимость с большинством платформ. Несмотря на успех, проект требует постоянного развития. Сейчас Зи работает над версиями, которые меньше нагружают процессоры пользователей и могут функционировать без JavaScript — важный шаг для тех, кто заботится о приватности и отключает выполнение скриптов в браузере.

Одной из главных трудностей автор называет поиск баланса между блокировкой автоматических систем и недопущением ложных срабатываний, затрагивающих обычных людей. Кроме того, важно не дать ботам понять, как именно они были заблокированы, но при этом предоставить пользователям возможность понять, что случилось, и обратиться за помощью.

Разработка Anubis остаётся делом энтузиазма: Зи финансирует проект через Patreon и спонсорство на GitHub, но пока не может позволить себе заниматься им на постоянной основе. Он также хотел бы нанять одного из ключевых участников сообщества, если позволит бюджет.

Интернет продолжает превращаться в арену противостояния между автоматическими системами сбора данных и теми, кто стремится защитить свои ресурсы. Anubis стал одной из самых эффективных независимых инициатив в этой борьбе. И, похоже, ИИ-компании уже внимательно следят за его развитием.