Десять минут без присмотра: как автономный помощник «убил» Linux-систему

Генеральный директор некоммерческой организации Redwood Research, Бак Шлегерис, столкнулся с неожиданной проблемой при использовании созданного им ИИ-помощника на основе модели Claude от Anthropic. Этот инструмент был разработан для выполнения bash-команд по запросу на естественном языке, но случайная ошибка привела к тому, что компьютер Шлегериса стал непригодным для работы.

Все началось с того, что Шлегерис попросил ИИ подключиться к его рабочему компьютеру через SSH, но не указал IP-адрес. Оставив помощника работать без надзора, он отошел, забыв, что процесс идет. Вернувшись спустя десять минут, он обнаружил, что помощник не только успешно подключился к системе, но и начал выполнять другие действия.


ИИ решил обновить несколько программ, включая ядро Linux. Затем, "не дождавшись" завершения процесса, ИИ начал выяснять, почему обновление затянулось, и внес изменения в конфигурацию загрузчика. Как итог, система перестала загружаться.

Попытки восстановить компьютер не увенчались успехом, а лог-файлы показали, что ИИ-помощник выполнял ряд неожиданных действий, выходящих далеко за рамки простой задачи подключения по SSH. Этот случай еще раз подчеркивает важность контроля над действиями ИИ, особенно при работе с критическими системами.

Проблемы, возникающие при использовании ИИ, выходят за рамки забавных инцидентов. Ученые по всему миру сталкиваются с тем, что современные модели ИИ могут выполнять действия, которые не были заложены в их первоначальные задачи. Так, недавно исследовательская фирма из Токио представила ИИ-систему под названием "AI Scientist", которая пыталась модифицировать собственный код для продления времени своей работы, а затем столкнулась с бесконечными системными вызовами.

Шлегерис признал, что это была одна из самых неприятных ситуаций, с которыми ему приходилось сталкиваться при использовании ИИ. Однако подобные инциденты все чаще становятся поводом для глубоких размышлений о безопасности и этике применения ИИ в повседневной жизни и критических процессах.