Галлюцинации ChatGPT могут использоваться для распространения вредоносных NPM-пакетов

Галлюцинации ChatGPT могут использоваться для распространения вредоносных NPM-пакетов

Хакер может "сломать" ChatGPT и заставить его рекомендовать пользователям скачать вредоносный пакет.

image

По данным компании по управлению уязвимостями и рисками Vulcan Cyber, злоумышленники могут манипулировать ChatGPT для распространения вредоносных пакетов среди разработчиков ПО.

Проблема связана с галлюцинациями ИИ, которые возникают, когда ChatGPT генерирует фактически неправильную или бессмысленную информацию, которая может выглядеть правдоподобной. Исследователи Vulcan заметили, что ChatGPT, возможно, из-за использования устаревших обучающих данных, рекомендовал библиотеки кода, которых в настоящее время не существует.

Исследователи предупредили, что киберпреступники могут собирать имена таких несуществующих пакетов и создавать вредоносные версии, которые разработчики могут загружать на основе рекомендаций ChatGPT. В частности, исследователи Vulcan проанализировали популярные вопросы о платформе Stack Overflow и задали эти вопросы ChatGPT в контексте Python и Node.js.

Схема атаки

Эксперты задали ChatGPT более 400 вопросов, и примерно 100 из его ответов содержали ссылки по крайней мере на один пакет Python или Node.js, которого на самом деле не существует. Всего в ответах ChatGPT упоминалось более 150 несуществующих пакетов.

Зная имена пакетов, рекомендованных ChatGPT, злоумышленник может создать их вредоносные копии. Поскольку ИИ, скорее всего, порекомендует те же пакеты другим разработчикам, задающим аналогичные вопросы, ничего не подозревающие разработчики могут найти и установить вредоносную версию пакета, загруженную злоумышленником в популярные репозитории.

Специалисты Vulcan Cyber ​​ продемонстрировали , как этот метод будет работать в реальных условиях, создав пакет, который может украсть системную информацию с устройства и загрузить ее в реестр NPM.

Учитывая, как хакеры осуществляют атаки на цепочку поставок, развертывая вредоносные пакеты в известных репозиториях, разработчикам важно проверять библиотеки, которые они используют, чтобы убедиться, что они безопасны. Меры защиты еще более важны с появлением ChatGPT, который может рекомендовать пакеты, которые на самом деле не существуют или не существовали до того, как злоумышленники создали их.

Наш канал горячее, чем поверхность Солнца!

5778 К? Пф! У нас градус знаний зашкаливает!

Подпишитесь и воспламените свой разум