Security Lab

Prompt Injection

1627
Prompt Injection
Уязвимость типа Prompt Injection заключается в манипуляции входными данными так, чтобы заставить систему (например, ИИ-модель или чат-бота) выполнить нежелательные или вредоносные действия. Злоумышленник вводит специальные команды или текст, который интерпретируется системой как инструкция, а не как обычный ввод пользователя. Это может привести к утечке конфиденциальной информации, выполнению несанкционированных операций или другим неблагоприятным последствиям.
цель обнаружена
«Мы слишком маленькие, чтобы нас атаковать»
самая дорогая фраза в истории бизнеса.
Видят ли вас? →

Lockdown Mode добрался и до ChatGPT. OpenAI «кастрировала» свой ИИ для повышения безопасности

Новый режим превращает некогда умного помощника в обыкновенного параноика.

Одного сообщения в WhatsApp хватит, чтобы взломать вас. И даже отвечать на него вам не нужно

Разбор свежей атаки на Android-смартфоны через ИИ-ассистент Gemini.

Ваш ИИ-агент сам отформатирует вам жёсткий диск. Главное — лишь правильно его об этом попросить

Алгоритмы оказались слишком доверчивыми к чужим уловкам.

ChatGPT уходит в глухую оборону. Теперь у нейросети есть режим для тех, кого постоянно пытаются взломать

Популярный инструмент наконец превратился в бронированный сейф.

OpenAI создала ИИ-хакера, чтобы взламывать саму себя – и это новый уровень защиты браузера Atlas

OpenAI усилила модель и защиту Atlas после волны prompt injection.

Миллионы пользователей сами устанавливают вирусы по "рекомендации" ChatGPT

Скрытые CSS-блоки в HTML заставляют модели выводить команды злоумышленников.

Gemini теперь сам встраивает бэкдоры в код — достаточно сказать «Добавь комментарий»

Когда UI пуст, а ИИ слышит команды.

Новейший ИИ от Google оказался шпионом в компьютерах программистов

Кто бы знал, что один README.md может превратить ИИ-помощника в инструмент слива данных.

$100000 на кону: OpenAI наняла хакеров атаковать собственные системы

ИИ учится защищать самого себя.

DDoS-угроза №1: ChatGPT может обрушить любой веб-сайт за секунды

Нелепая 0day-уязвимость позволяет хакерам вести атаки прямо через чат-бот.

Link Trap: новый метод социальной инженерии выводит ИИ из строя

Нейросети становятся жертвой ошибки, которая подрывает доверие пользователей.

ASCII Smuggling: как хакеры превратили Copilot в личного шпиона

Невидимые инструкции заставляют ИИ действовать против воли создателей.

EmailGPT: ИИ-шпион в вашем почтовом ящике

Исследователи рекомендуют немедленно удалить популярное браузерное расширение.

Gandalf — киберполигон, который не прошёл тест на безопасность

Платформа для обучения взлому нейросетей сама стала угрозой конфиденциальности.

Новый чат-бот от Microsoft «разболтал» пользователям все свои внутренние директивы

Похоже, продвинутая языковая модель не сильно озабочена проблемами конфиденциальности.