Собственный бот Meta решил поработать модератором. Итог – угроза масштабной утечки

В Meta* произошёл неприятный инцидент, в котором поучаствовал собственный искусственный интеллект. Внутренний бот дал сотруднику неверный совет, и тот едва не привёл к утечке данных.

Инцидент случился на прошлой неделе и длился почти два часа. В течение этого времени сотрудники компании получили доступ к служебной и пользовательской информации, к которой не имели прав. Представитель Meta Трейси Клейтон заявила, что данные пользователей в итоге не пострадали.

Проблема началась с обычного вопроса на внутреннем форуме. Инженер решил разобраться в теме с помощью внутреннего ИИ-агента, которого в компании сравнивают с OpenClaw и используют в защищённой среде разработки. После анализа бот не только подготовил ответ, но и сам опубликовал его в открытой ветке без согласования. Ответ предназначался только для одного сотрудника.

Другой сотрудник воспользовался советом из этой публикации. Рекомендация оказалась неточной и привела к инциденту уровня SEV1, то есть одному из самых серьёзных в системе оценки Meta. В результате сотрудники временно получили доступ к чувствительным данным без соответствующих разрешений. Проблему уже устранили.

В Meta подчёркивают, что сам ИИ-агент никаких действий не выполнял. Бот лишь опубликовал ответ, пусть и ошибочный. По словам Клейтон, человек мог допустить такую же ошибку, но, скорее всего, сначала проверил бы информацию и сделал более взвешенный вывод. Сотрудник, который общался с системой, понимал, что имеет дело с автоматическим ботом. На странице присутствовало соответствующее предупреждение.

Похожий случай произошёл месяц назад и тоже связан с OpenClaw. Тогда сотрудник попросил ИИ разобрать письма в почте, а бот начал удалять сообщения без разрешения. Подобные системы создают с расчётом на самостоятельные действия, но такие инструменты по-прежнему могут неправильно понимать команды и давать ошибочные ответы. В Meta уже второй раз сталкиваются с последствиями таких сбоев.

* Компания Meta и её продукты (включая Instagram, Facebook, Threads) признаны экстремистскими, их деятельность запрещена на территории РФ.