Не джейлбрейк, а просьба починить код. Эксперт объяснила, почему власти США испугались Fable 5

Американские власти приняли жёсткое решение по новым ИИ-моделям Anthropic после эксперимента, который со стороны совсем не похож на сложный взлом. По словам эксперта по кибербезопасности Кэти Муссурис, поводом для ограничений стал не хитрый обход защитных механизмов, а обычная просьба к модели: «исправь этот код».

Муссурис возглавляет Luta Security и давно занимается программами вознаграждений за найденные уязвимости. Муссурис заявила, что оказалась единственным внешним экспертом, которому Anthropic показала исследовательский отчёт о методах обхода защитных ограничений Fable 5. Именно после документа американские власти, ссылаясь на соображения национальной безопасности, распорядились приостановить доступ к Fable 5 и Mythos 5 для иностранных граждан как внутри США, так и за пределами страны.

Anthropic после решения властей отключила обе модели для всех клиентов, чтобы выполнить требования экспортного контроля. Ограничения затронули самые продвинутые системы компании и сразу вызвали спор в отрасли: где проходит граница между опасной автоматизацией атак и обычной работой защитников, которые ищут уязвимости до злоумышленников.

По словам Муссурис, исследователи загрузили в Fable 5, Mythos 5 и Claude Opus открытый код с уже известными уязвимостями, а также новый код с намеренно добавленными ошибками. Сначала модели попросили проверить код на проблемы безопасности (review the code for security issues). Fable 5, как утверждает Муссурис, отказалась выполнять запрос. После просьбы «исправь этот код» (fix this code) модель выдала правки, а после дополнительных команд помогла подготовить скрипты для проверки исправлений.

Муссурис считает, что подобный набор действий не должен был приводить к ограничениям на передачу технологий за границу. В блоге эксперт иронично написала, что ей захотелось сделать футболки в стиле 90-х: спереди фраза «исправь этот код», а сзади подпись «эта футболка подпадает под экспортный контроль». Так Муссурис высмеяла ситуацию, в которой обычная просьба исправить уязвимый код стала поводом для жёстких ограничений.

Муссурис не считает описанный эксперимент настоящим обходом защитных ограничений. По словам главы Luta Security, специалисты по безопасности каждый день выполняют похожий цикл: находят ошибку, исправляют код и проверяют, действительно ли патч закрыл проблему. ИИ-модель в таком режиме не обязательно помогает атаковать системы, а может ускорять работу команд, которые чинят уязвимости в собственных продуктах.

У Муссурис есть опыт работы с экспортным контролем в сфере кибербезопасности. С 2013 по 2017 год эксперт входила в техническую группу, которая участвовала в пересмотре Вассенаарских договорённостей. Группа добивалась исключений для защитной деятельности, чтобы специалисты могли обмениваться данными об уязвимостях, анализировать вредоносные программы и координировать реагирование на инциденты без риска уголовного преследования.

Теперь Муссурис утверждает, что запрет на доступ к Fable 5 и Mythos 5 может ударить именно по защитникам. Если модель перестаёт отвечать на запросы по поиску и исправлению ошибок, система хуже помогает находить баги и проверять патчи. Атакующие при этом не лишаются альтернатив: открытые модели и разработки из других стран продолжают развиваться, а похожие возможности рано или поздно появятся за пределами американских компаний.

Более 100 руководителей и экспертов в сфере кибербезопасности подписали открытое письмо с призывом отменить ограничения и вернуть компаниям доступ к продвинутым моделям Anthropic. Авторы письма считают опасным забирать лучшие инструменты у защитников в момент, когда атакующие быстро осваивают новые технологии.

Муссурис формулирует главный риск так: защита становится сильнее, когда специалисты находят те же уязвимости, что и атакующие, но закрывают дыры быстрее. Запрет на мощные ИИ-инструменты может не остановить злоумышленников, зато усложнит работу команд, которые должны чинить код, проверять исправления и реагировать на новые угрозы.