Security Lab

Prompt Injection Attack

1627
Prompt Injection Attack
Prompt Injection Attack (атака внедрения запроса) - это техника атаки на модели машинного обучения, обучающихся на основе текстовых запросов. В ходе атаки злоумышленник может создать злонамеренный запрос, который заставляет языковую модель обойти модерацию, заложенную разработчиками. Например, нейросеть может давать советы и инструкции по незаконной деятельности или создавать материалы дезинформации.

Кроме того, хакер может внедрить запрос в веб-страницу, которая будет использоваться чат-ботом для ответа на вопрос пользователя. Как только “отравленная” страница будет получена в разговоре с пользователем, запрос будет незаметно активирован без необходимости дальнейшего ввода от пользователя.

Кто тянет ниточки вашего скролла — и почему пора их перерезать?

Короткий разбор того, как алгоритмы Instagram строят для нас цифровые тюрьмы: почему каждый лайк стягивает стены пузыря, как это меняет нейронные связи и где заканчивается персонализация, превращаясь в уязвимость.

Игра с огнём: почему IT-специалисты опасаются запуска Windows Copilot?

Интеграция Copilot в Windows может стать необдуманным ходом Microsoft.

Пользователи Twitter заставили ИИ подчиняться людям

Пользователи смогли взломать бота для поиска удаленной работы, не используя технических средств.