Security Lab

Prompt Injection

Уязвимость типа Prompt Injection заключается в манипуляции входными данными так, чтобы заставить систему (например, ИИ-модель или чат-бота) выполнить нежелательные или вредоносные действия. Злоумышленник вводит специальные команды или текст, который интерпретируется системой как инструкция, а не как обычный ввод пользователя. Это может привести к утечке конфиденциальной информации, выполнению несанкционированных операций или другим неблагоприятным последствиям.

OpenAI создала ИИ-хакера, чтобы взламывать саму себя – и это новый уровень защиты браузера Atlas

OpenAI усилила модель и защиту Atlas после волны prompt injection.

Миллионы пользователей сами устанавливают вирусы по "рекомендации" ChatGPT

Скрытые CSS-блоки в HTML заставляют модели выводить команды злоумышленников.

Gemini теперь сам встраивает бэкдоры в код — достаточно сказать «Добавь комментарий»

Когда UI пуст, а ИИ слышит команды.

Новейший ИИ от Google оказался шпионом в компьютерах программистов

Кто бы знал, что один README.md может превратить ИИ-помощника в инструмент слива данных.

$100000 на кону: OpenAI наняла хакеров атаковать собственные системы

ИИ учится защищать самого себя.

DDoS-угроза №1: ChatGPT может обрушить любой веб-сайт за секунды

Нелепая 0day-уязвимость позволяет хакерам вести атаки прямо через чат-бот.

Link Trap: новый метод социальной инженерии выводит ИИ из строя

Нейросети становятся жертвой ошибки, которая подрывает доверие пользователей.

ASCII Smuggling: как хакеры превратили Copilot в личного шпиона

Невидимые инструкции заставляют ИИ действовать против воли создателей.

EmailGPT: ИИ-шпион в вашем почтовом ящике

Исследователи рекомендуют немедленно удалить популярное браузерное расширение.

Gandalf — киберполигон, который не прошёл тест на безопасность

Платформа для обучения взлому нейросетей сама стала угрозой конфиденциальности.

Новый чат-бот от Microsoft «разболтал» пользователям все свои внутренние директивы

Похоже, продвинутая языковая модель не сильно озабочена проблемами конфиденциальности.