Автономное оружие под запретом, а хакерский софт — пожалуйста. Как Anthropic обошла собственное гуманное ТЗ ради контракта со спецслужбами США

Американские власти доверили искусственному интеллекту поиск слабых мест в государственном программном обеспечении. Агентство по кибербезопасности и защите инфраструктуры США использует модель Mythos компании Anthropic для проверки исходного кода.

Mythos сканирует государственные хранилища кода и ищет ошибки, которыми могут воспользоваться иностранные спецслужбы и киберпреступники. Проверкой занимается подразделение Attack Surface Evaluation, которое оценивает защищённость федеральных ведомств и проводит учебные взломы их систем.

По словам двух источников, модель уже обнаружила большое число уязвимостей. Их характер и уровень опасности пока не раскрываются. Подробности проверки на данный момент не известны.

Проект показывает, что американские ведомства продолжают внедрять разработки Anthropic, несмотря на недавний конфликт компании с Белым домом. В феврале Anthropic отказалась снимать ограничения, которые запрещают применять её модели для автономного оружия и слежки внутри страны. После этого Пентагон признал компанию риском для цепочки поставок. Ранее подобную меру применяли главным образом против иностранных организаций, подозреваемых в содействии разведке.

В марте суд заблокировал решение Пентагона, а напряжение снизилось после закрытого выпуска Mythos. Модель показала высокую эффективность при поиске и эксплуатации уязвимостей. Агентство национальной безопасности США использует Mythos как минимум с апреля, а его сотрудники тестировали систему в засекреченной среде.

Позднее Anthropic представила общедоступную версию модели под названием Fable со встроенными ограничениями для задач кибербезопасности. Белый дом потребовал запретить доступ иностранным пользователям, после чего компания отключила модель по всему миру. Работу Fable возобновили лишь на прошлой неделе.