Без паролей и два часа времени. ИИ научился самостоятельно взламывать другие ИИ-системы

Автономный агент на базе искусственного интеллекта взломал внутреннюю платформу искусственного интеллекта консалтинговой компании McKinsey & Company всего за два часа. Атаку провела команда стартапа CodeWall, которая проверяет безопасность компаний методами «красной команды». Агент самостоятельно выбрал цель, нашёл уязвимость и получил полный доступ к системе.

McKinsey запустила собственную генеративную платформу искусственного интеллекта под названием Lilli в июле 2023 года. Чат-бот быстро стал частью внутренней работы компании. По данным McKinsey, Lilli используют 72% сотрудников – более 40 тысяч человек. Система обрабатывает свыше 500 тысяч запросов в месяц.

Специалисты CodeWall применяют автономных агентов, которые постоянно атакуют инфраструктуру клиентов и таким образом помогают находить слабые места в защите. Один из таких агентов предложил проверить системы McKinsey. Причиной стала опубликованная политика ответственного раскрытия уязвимостей и недавние обновления Lilli. После этого специалисты направили на платформу автономный инструмент для наступательного тестирования. Никаких учётных данных McKinsey у агента не было.

Через два часа после начала проверки агент получил полный доступ на чтение и запись к рабочей базе данных. Система позволила увидеть около 46,5 млн сообщений из чатов, где сотрудники обсуждали стратегию, сделки слияний и поглощений и проекты клиентов. Сообщения хранились в открытом виде. Агент также получил доступ к 728 тысячам файлов с конфиденциальными данными клиентов, 57 тысячам учётных записей пользователей и 95 системным подсказкам, которые управляют поведением искусственного интеллекта.

Проблема выглядела особенно опасной. Все системные подсказки можно было изменять. Злоумышленник получил бы возможность незаметно переписать инструкции для Lilli и тем самым изменить ответы чат-бота для десятков тысяч консультантов.

Агент нашёл уязвимость типа SQL-инъекции в конце февраля. Полную цепочку атаки специалисты передали McKinsey 1 марта. Уже на следующий день компания закрыла уязвимые интерфейсы без авторизации, отключила среду разработки и закрыла публичную документацию интерфейса программирования.

Представитель McKinsey сообщил, что компания устранила все найденные проблемы через несколько часов после получения уведомления. Проверка с участием сторонней криминалистической компании не обнаружила признаков доступа к данным клиентов со стороны посторонних лиц.

Атака оказалась полностью автоматической. По словам генерального директора CodeWall Пола Прайса, агент самостоятельно выполнил весь процесс – от выбора цели до анализа, атаки и подготовки отчёта.

Сначала система нашла публично доступную документацию интерфейса программирования Lilli. Среди описаний оказались 22 точки доступа, которые работали без проверки подлинности. Один из интерфейсов записывал поисковые запросы пользователей. Агент заметил, что имена полей из формата JSON напрямую вставлялись в запросы к базе данных. Такая схема открывала путь для SQL-инъекции.

Подсказку дали сообщения об ошибках базы данных. Система выводила в ответах реальные данные из рабочей среды. Агент быстро понял, что нашёл уязвимость, которую стандартные инструменты часто пропускают.

Ситуацию усугубило устройство самой платформы. Системные подсказки Lilli хранились в той же базе данных. Уязвимость позволяла не только читать данные, но и менять записи. Злоумышленнику хватило бы одного запроса к серверу, чтобы изменить инструкции чат-бота без обновления кода и перезапуска системы.

Все найденные проблемы уже закрыты. Однако в CodeWall считают, что ситуация показывает новую тенденцию. Автономные агенты способны проводить кибератаки без участия человека и действовать с машинной скоростью. По словам Прайса, преступные группы вскоре начнут применять такие инструменты для массовых атак, шантажа из-за утечки данных и распространения программ-вымогателей.