Сказал «YOLO» и запустил rm -rf. ИИ теперь сам себе хозяин

Сказал «YOLO» и запустил rm -rf. ИИ теперь сам себе хозяин

Новый режим в Cursor сделает за вас что угодно. И именно это пугает больше всего.

image

ИИ-инструменты для программирования стремительно набирают популярность, и один из них — Cursor — теперь предлагает режим YOLO (от «you only live once»), позволяющий агенту выполнять сложные последовательности действий без подтверждения пользователя на каждом этапе. Однако израильская компания Backslash Security бьёт тревогу : такой подход может обернуться не просто ошибками, а катастрофическими последствиями, включая удаление файлов и запуск произвольных команд.

Режим YOLO активирует автоматическое выполнение команд, где вмешательство человека минимально. В Cursor якобы предусмотрены защитные меры: список разрешённых команд, список запрещённых, и отдельная опция для запрета удаления файлов. На бумаге это выглядит безопасно, но на практике, как выяснили специалисты по безопасности, все эти фильтры легко обходятся.

Backslash обнаружила сразу четыре способа обойти запреты. В их числе — использование обфускации, выполнение команд в сабшелле (подоболочке), запись скриптов на диск и запуск их оттуда, а также манипуляции с кавычками в bash, которые позволяют избежать блокировок. Даже если команда вроде «curl» включена в чёрный список, Cursor может выполнить её, если она зашифрована в Base64 или обёрнута в другую оболочку. Это делает попытки ограничить действия агента практически бессмысленными.

Разработчики могут непреднамеренно подставить себя под угрозу, импортируя инструкции для Cursor из непроверенных репозиториев на GitHub. Такие файлы, как правило, содержат шаблоны поведения агента, но ничто не мешает внедрить в них вредоносный код . Более того, даже обычный комментарий в коде или описание в README-файле может стать вектором атаки, если в нём окажется специально подготовленный фрагмент текста, который агент интерпретирует как команду.

Согласно Backslash, эти уязвимости означают, что защита от удаления файлов в режиме YOLO также не имеет смысла. Как только агент сможет исполнить вредоносный код, никакие галочки в настройках не остановят его действия .

Cursor пока не прокомментировала ситуацию, но, по данным исследовательской команды, компания намерена отказаться от неэффективного механизма denylist в грядущей версии 1.3, которая ещё не была выпущена на момент публикации исследования. До тех пор разработчикам остаётся только одно: не полагаться на псевдозащиту и дважды подумать, прежде чем доверить своему ИИ доступ к реальному коду без надзора.