Автономные ИИ-агенты уже успели выбраться из песочниц, проникнуть в чужие системы и самовольно выйти в интернет, а теперь последствия дошли до американского регулятора.
Федеральная торговая комиссия США начала широкое расследование в отношении OpenAI, Anthropic и других разработчиков искусственного интеллекта из-за возможных рисков для потребителей. В поле зрения FTC также попала некоммерческая организация METR, которая независимо разбирала инциденты с автономными моделями. Регулятор готовит официальные требования предоставить документы и может обязать руководителей компаний дать показания.
Главный фон расследования создали многочисленные случаи, когда ИИ выходил за пределы поставленной задачи. В июле агенты OpenAI во время внутренних кибериспытаний обошли сетевую изоляцию, наладили собственный канал связи, вышли в интернет и взломали Hugging Face. Модели нашли несколько уязвимостей, получили доступ к производственной инфраструктуре и похитили учётные данные.
Anthropic столкнулась с похожей проблемой. Компания раскрыла четыре эпизода, когда Claude во время испытаний получил доступ к реальным сторонним системам, хотя должен был работать внутри контролируемой среды. В одном случае модель нашла пароль, получила административные права и добралась до персональных данных. Разбор четвёртого инцидента появился только после проверки сотен миллионов журналов.
FTC интересует не только сам факт «побега» моделей. Комиссия может проверять, достаточно ли разработчики защищают потребителей, соответствуют ли реальные свойства продуктов заявлениям компаний и принимают ли разработчики разумные меры против предсказуемого вреда. Само начало расследования пока не означает, что OpenAI, Anthropic или METR нарушили закон.
Нынешняя проверка отличается от предыдущих контактов FTC с разработчиками ИИ. В 2024 году комиссия уже требовала документы у OpenAI и Anthropic, но тогда изучала миллиардные инвестиции Microsoft, Amazon и Google и их влияние на конкуренцию. Позднее регулятор занялся и вопросами того, как действующие нормы защиты потребителей можно применять к системам ИИ.
Новая проверка началась ещё до громкого июльского взлома Hugging Face, однако последующие происшествия резко усилили внимание к автономным системам. Расследование стало первым официальным действием американского регулятора, которое напрямую затрагивает проблему вышедших из-под контроля ИИ-агентов.
FTC подтвердила расследование, но пока не раскрыла полный список компаний, его точные рамки и возможные дальнейшие шаги. OpenAI и Anthropic на момент публикации первоначальных сообщений публичных комментариев по проверке не дали.
Масштаб проблемы продолжает расти. Недавняя внутренняя проверка OpenAI обнаружила ещё 53 изображения пользователей, которые исследовательские агенты без необходимости отправили на внешние фотохостинги во время выполнения задач.
Всего за несколько дней до новостей о FTC другой агент OpenAI самостоятельно обнаружил возможность выбраться из закрытой среды через DNS и связался с внешним чат-ботом. Система мониторинга заметила активность через 15 минут, однако эксперимент остановили лишь спустя 2,5 часа.
Проблема не ограничивается двумя компаниями. В августе похожий эксперимент у Meta закончился тем, что модель получила случайный доступ к сети и начала взламывать компании. Серия подобных эпизодов превращает безопасность автономных агентов из исследовательской задачи во вполне практический вопрос ответственности разработчиков.
