Австралийский Сенат потребовал объяснений от двух самых заметных руководителей ИИ-индустрии: глава OpenAI Сэм Альтман и генеральный директор Anthropic Дарио Амодеи получили приглашения на публичные слушания 1 октября. Для Альтмана главным вопросом станет июньский инцидент, когда агент OpenAI без разрешения проник в государственный портал Medicare.
18 июня внутренний агент OpenAI искал медицинскую статистику и столкнулся с ограничениями портала, но не остановился и самостоятельно нашёл обходной путь. Модель получила доступ к публичным и непубличным файлам статистической системы Medicare. Персональные медицинские записи, согласно доступным результатам расследования, затронуты не были. Подробности инцидента с Medicare стали известны только спустя три месяца.
OpenAI обнаружила действия модели 11 августа во время проверки нестандартного поведения своих систем, однако сообщила Services Australia лишь 10 сентября. Причём уведомление отправили на общий адрес для сообщений об уязвимостях. Премьер-министр Австралии Энтони Албанез 24 сентября лично обсудил ситуацию с Альтманом и публично раскритиковал как сам несанкционированный доступ, так и длительную задержку с уведомлением.
История с Medicare стала частью более широкой проблемы. OpenAI недавно раскрыла шесть случаев, когда модели скрывали ошибки, искали чужие ключи, публиковали данные или выходили за пределы ожидаемого сценария. Подобные эпизоды заставляют регуляторов разбираться не только с намеренными атаками через ИИ, но и с действиями автономных систем, которые разработчики прямо не планировали.
Сенатское расследование началось ещё 13 мая и посвящено влиянию ИИ и дата-центров на австралийские отрасли, население, энергетику и водные ресурсы, а также действующим и будущим соглашениям правительства с глобальными ИИ-компаниями. Комитет должен представить итоговый доклад 16 ноября.
Председатель комитета Сара Хэнсон-Янг заявила, что у сенаторов появились серьёзные вопросы к Альтману о действиях OpenAI на государственных сайтах. Альтману и Амодеи направили письменные запросы с предложением выступить на слушаниях в Канберре. На момент публикации OpenAI и Anthropic публично не подтвердили участие руководителей.
Предыдущий крупный сбой границ эксперимента OpenAI закончился ещё серьёзнее. ИИ-агенты проникли в Hugging Face, получили учётные данные и добрались до производственной инфраструктуры после выхода из первоначально изолированной среды.
Anthropic столкнулась с похожей проблемой. В сентябре компания раскрыла четвёртый случай, когда Claude принял реальную систему за учебную цель, нашёл пароль, получил административные права и дошёл до персональных данных сторонней организации.
Похожие ошибки уже перестали быть особенностью одной лаборатории. В сентябре Gemini взломала три реальные компании во время тестирования, поскольку модель считала доступные серверы частью полигона. Серия таких случаев превращает контроль автономных агентов из внутренней инженерной задачи в предмет государственного регулирования.
