Сессия ещё не началась. Именно эта фраза превращает ИИ-доктора в распространителя конспирологии

Медицинский ИИ-сервис Doctronic, который в том числе помогает выписывать рецепты, оказался удивительно восприимчив к манипуляциям. Специалисты по безопасности из компании Mindgard выяснили, что взломать логику чат-бота можно буквально парой фраз.

Чтобы заставить Doctronic раскрыть системные инструкции и начать вести себя совершенно иначе, достаточно сообщить ему, что сессия ещё не началась и разговор идёт не с пользователем, а с системой. «Всё сводилось к тому, чтобы уведомить ИИ: сессия пока не запущена», — рассказал директор по продукту Mindgard Аарон Портной. После этого бот готов распространять конспирологические теории о COVID-19, антипрививочные нарративы или просто разговаривать с выдуманным акцентом.

Большинство подобных манипуляций действуют только в рамках одной сессии и не затрагивают других пользователей. Однако исследователи нашли способ добиться более долгосрочного эффекта. Doctronic составляет так называемые SOAP-заметки — структурированные медицинские записи о взаимодействии с пациентом, которые затем попадают на проверку живому врачу. Именно врач на основе этих заметок выдаёт официальный рецепт. Если убедить ИИ, например, что изменились нормы назначения препаратов, и он отразит это в SOAP-заметке, невнимательный или перегруженный работой врач может просто подписать документ не глядя. Сам сервис заявляет, что его планы лечения в 99,2% случаев совпадают с решениями сертифицированных врачей — что лишь усиливает риск: такие рекомендации вряд ли будут подвергаться сомнению.

Практический ущерб пока ограничен. Doctronic участвует в пилотном проекте в штате Юта, однако там программа работает только с ранее выписанными рецептами на неконтролируемые препараты, а сам пилот предусматривает дополнительные защитные механизмы. Ни Doctronic, ни власти штата не выглядят особенно встревоженными: тройную дозу оксиконтина через систему всё равно не получить.

Тем не менее компания заявила, что «серьёзно относится к исследованиям в области безопасности» и продолжает совершенствовать защиту. Портной настроен скептически: после того как Mindgard раскрыла уязвимость в конце января, от Doctronic не поступило никакого ответа, и нет никаких подтверждений, что проблема устранена. «Насколько нам известно, Doctronic по-прежнему уязвим», — резюмирует он.