Галлюцинации ChatGPT могут использоваться для распространения вредоносных NPM-пакетов

По данным компании по управлению уязвимостями и рисками Vulcan Cyber, злоумышленники могут манипулировать ChatGPT для распространения вредоносных пакетов среди разработчиков ПО.

Проблема связана с галлюцинациями ИИ, которые возникают, когда ChatGPT генерирует фактически неправильную или бессмысленную информацию, которая может выглядеть правдоподобной. Исследователи Vulcan заметили, что ChatGPT, возможно, из-за использования устаревших обучающих данных, рекомендовал библиотеки кода, которых в настоящее время не существует.

Исследователи предупредили, что киберпреступники могут собирать имена таких несуществующих пакетов и создавать вредоносные версии, которые разработчики могут загружать на основе рекомендаций ChatGPT. В частности, исследователи Vulcan проанализировали популярные вопросы о платформе Stack Overflow и задали эти вопросы ChatGPT в контексте Python и Node.js.

Схема атаки

Эксперты задали ChatGPT более 400 вопросов, и примерно 100 из его ответов содержали ссылки по крайней мере на один пакет Python или Node.js, которого на самом деле не существует. Всего в ответах ChatGPT упоминалось более 150 несуществующих пакетов.

Зная имена пакетов, рекомендованных ChatGPT, злоумышленник может создать их вредоносные копии. Поскольку ИИ, скорее всего, порекомендует те же пакеты другим разработчикам, задающим аналогичные вопросы, ничего не подозревающие разработчики могут найти и установить вредоносную версию пакета, загруженную злоумышленником в популярные репозитории.

Специалисты Vulcan Cyber ​​ продемонстрировали , как этот метод будет работать в реальных условиях, создав пакет, который может украсть системную информацию с устройства и загрузить ее в реестр NPM.

Учитывая, как хакеры осуществляют атаки на цепочку поставок, развертывая вредоносные пакеты в известных репозиториях, разработчикам важно проверять библиотеки, которые они используют, чтобы убедиться, что они безопасны. Меры защиты еще более важны с появлением ChatGPT, который может рекомендовать пакеты, которые на самом деле не существуют или не существовали до того, как злоумышленники создали их.