Взлом года за пару часов. ИИ заставил McKinsey выдать все секреты

Казалось бы, одна из самых закрытых и влиятельных консалтинговых компаний мира должна держать свои внутренние системы под замком. Но проверка показала обратное. К корпоративной платформе с искусственным интеллектом удалось получить полный доступ всего за пару часов – без паролей и без участия человека.

В центре инцидента – система Lilli, которую разработала McKinsey & Company для своих сотрудников. Платформа работает как корпоративный помощник: анализирует документы, ищет данные в архивах и отвечает на вопросы, используя внутренние материалы компании. Сервисом пользуются десятки тысяч сотрудников, а количество запросов превышает полмиллиона в месяц.

Проверку провели с помощью автономного инструмента, который сам выбирает цель и строит атаку. Алгоритм обнаружил открытую документацию к программному интерфейсу. В ней оказалось больше двухсот точек доступа, и часть из них работала без проверки пользователя.

Одна из таких точек записывала поисковые запросы в базу данных. Значения система обрабатывала безопасно, но названия полей из запроса вставлялись в команды базы данных напрямую. Когда сервис начал возвращать ошибки с этими полями, алгоритм распознал уязвимость внедрения команд и начал подбирать структуру запроса. Через несколько итераций удалось получить реальные данные.

Дальше ситуация стала куда серьёзнее. Без авторизации открывался доступ к огромному массиву информации: десятки миллионов сообщений из чатов сотрудников, сотни тысяч файлов, включая презентации, таблицы и документы, а также данные десятков тысяч учётных записей. Причём вся информация хранилась в открытом виде.

На этом атака не остановилась. Удалось получить настройки самой системы, включая инструкции, по которым работает искусственный интеллект. Эти инструкции определяют, как платформа отвечает на вопросы, какие ограничения соблюдает и какие данные может выдавать. Поскольку уязвимость позволяла не только читать, но и изменять данные, злоумышленник мог незаметно переписать поведение системы.

В таком сценарии платформа могла начать давать искажённые рекомендации, подмешивать конфиденциальные данные в ответы или игнорировать ограничения доступа. При этом никаких следов вмешательства почти не осталось бы: изменения происходят на уровне настроек, а не кода. Интересно, что проблему не обнаружили стандартные средства проверки безопасности. При этом сама уязвимость относится к одному из самых старых классов ошибок и известна десятилетиями.