RunSybil предупреждает: 90% багбаунти-отчётов — это ИИ-шлак

В последние годы интернет оказался буквально затоплен малополезным, а порой и вовсе вымышленным контентом, сгенерированным языковыми моделями. Речь идёт не только о низкокачественных текстах, изображениях и видео, но и об имитации реальной аналитики, которая проникает в СМИ, социальные сети, и даже в официальные документы. Кибербезопасность, как оказалось, также оказалась в зоне поражения этой новой формы цифрового загрязнения.

Наиболее тревожной стала новая волна поддельных отчётов о найденных уязвимостях, которые представляются как вполне легитимные отчёты в рамках багбаунти-программ. В действительности же их источником являются языковые модели, придумавшие несуществующие дыры и оформившие это в псевдопрофессиональные тексты.

Влад Ионеску, сооснователь RunSybil, компании, разрабатывающей ИИ-инструменты для поиска уязвимостей , описывает ситуацию как ловушку доверия: многие из этих отчётов выглядят убедительно, написаны технически грамотно, но при проверке оказывается, что описанная уязвимость — просто плод «галлюцинации» ИИ.

Проблема усугубляется тем, что генеративные модели настроены на позитивные отклики: если пользователь просит отчёт об уязвимости, система его создаёт — независимо от того, существует ли такая уязвимость в принципе. Эти отчёты массово попадают на багбаунти-платформы, перегружая их и отнимая ресурсы у инженеров и специалистов по безопасности, которым приходится вручную проверять фиктивные данные.

Примеры уже зафиксированы в реальности. Исследователь безопасности Харри Синтонен рассказал, как проект Curl получил ложное сообщение о проблеме — он безошибочно определил его как «ИИ-шлак». Аналогичные жалобы поступают и от Open Collective, где входящие сообщения буквально захлестнула волна мусорных ИИ-отчётов. Один из разработчиков проекта CycloneDX даже полностью отключил багбаунти-программу из-за засилья подобных фальшивок.

Платформы HackerOne и Bugcrowd тоже фиксируют рост ложных срабатываний и поддельных находок. Михиэл Принс из HackerOne отметил, что они всё чаще сталкиваются с отчётами, где описанные уязвимости либо не имеют реального воздействия, либо вообще выдуманы. Такие отчёты сразу классифицируются как спам. Кейс Эллис из Bugcrowd подтвердил, что почти все современные отчёты так или иначе сгенерированы с помощью ИИ, однако пока в их случае не наблюдается существенного роста доли бессмысленных материалов — но ситуация, по его словам, может вскоре ухудшиться.

Отказ от автоматических фильтров также имеет свои причины. В Mozilla, к примеру, не используют ИИ для первичной фильтрации багов, опасаясь упустить настоящие сообщения. По словам представителя компании Дамиано ДеМонте, они не наблюдают резкого роста ИИ-сгенерированного спама, а уровень отклонений остаётся стабильным — около 5–6 отчётов в месяц, что составляет менее 10% от общего потока.

На фоне этой ситуации появляются новые попытки борьбы с феноменом. Так, HackerOne представила инструмент Hai Triage — гибридную систему предварительной модерации, которая объединяет усилия машин и людей. ИИ-помощники выполняют черновую работу: отсекают дублирующие заявки и приоритизируют действительно важные. Окончательное решение всё равно остаётся за человеком, что помогает сохранить баланс между эффективностью и точностью.

Пока генеративные модели активно используются и злоумышленниками, и исследователями, будущее кибербезопасности всё сильнее зависит от того, кто сумеет создать более продвинутые фильтры — те, кто атакует, или те, кто защищает.