Prompt Injection Attack

Prompt Injection Attack (атака внедрения запроса) - это техника атаки на модели машинного обучения, обучающихся на основе текстовых запросов. В ходе атаки злоумышленник может создать злонамеренный запрос, который заставляет языковую модель обойти модерацию, заложенную разработчиками. Например, нейросеть может давать советы и инструкции по незаконной деятельности или создавать материалы дезинформации.

Кроме того, хакер может внедрить запрос в веб-страницу, которая будет использоваться чат-ботом для ответа на вопрос пользователя. Как только “отравленная” страница будет получена в разговоре с пользователем, запрос будет незаметно активирован без необходимости дальнейшего ввода от пользователя.