Разговор с ChatGPT может закончиться не закрытой вкладкой браузера, а визитом полиции. В Бразилии 36-летнего фермера арестовали после того, как OpenAI обнаружила в его переписке признаки возможной подготовки убийства восьмилетнего сына и передала информацию ФБР. Американское ведомство связалось с бразильскими властями, а уже через несколько дней мужчину задержали.
Фермер почти два месяца обсуждал с ChatGPT насилие и предполагаемые нападения. По версии полиции штата Эспириту-Санту, мужчина писал об убийстве сына, возможных атаках на школы, церкви и полицейских, искал сведения о токсичных веществах и пытался переформулировать запросы, когда защитные механизмы чат-бота отказывались отвечать. Следователи полагают, что одним из возможных мотивов конфликта с сыном могло стать недовольство выплатой алиментов. Сам мужчина утверждает, что причинять ребенку вред не собирался.
Информация попала к бразильским властям 16 июня. OpenAI сначала уведомила ФБР, затем американская служба передала сведения подразделению CyberLab Министерства юстиции Бразилии. Полиция задержала подозреваемого 19 июня в муниципалитете Сан-Габриэл-да-Палья. Следователи утверждают, что предполагаемое нападение могло произойти уже 20 июня, поэтому проверку провели в приоритетном порядке.
При обыске полицейские нашли четыре бутылки с пока не установленными веществами и веревку с петлей. Следствие также изучает телефон мужчины и пытается выяснить, предпринимал ли фермер реальные шаги для реализации написанного в ChatGPT. Среди прочего полиция проверяет заявление из переписки о возможном контакте с наемным убийцей. Именно наличие таких действий может оказаться решающим для уголовного дела.
Пока следователи такой границы не установили. Мужчина провел под стражей 54 дня и вышел 13 августа. На момент публикации обвинения ему не предъявлены, расследование продолжается. Суд обязал фермера носить электронный браслет и запретил контактировать с сыном и матерью ребенка. Защита настаивает, что разговоры с чат-ботом, даже крайне тревожные, сами по себе не доказывают намерения совершить преступление.
У дела возникла еще одна проблема. По словам бразильских следователей, OpenAI передала данные пользователя и его сообщения, но полиция не получила ответы ChatGPT. Адвокат по уголовным делам Маира Фернандес считает неполную переписку слабым доказательством, поскольку без ответов системы трудно восстановить контекст разговора и понять, как развивался диалог. Суду придется отделять реальную подготовку преступления от фантазий, эмоциональных высказываний и провокационных запросов к ИИ.
Сама OpenAI публично подтверждает, что подобные обращения в полицию входят в ее систему безопасности. Компания анализирует потенциально опасные разговоры и передает наиболее серьезные случаи специальной команде на дополнительную проверку. Если специалисты видят достоверную и непосредственную угрозу причинения серьезного вреда другим людям, OpenAI может сообщить правоохранительным органам. Речь идет не об автоматической отправке каждого подозрительного промпта в полицию, а об отдельной процедуре оценки риска с участием людей.
История особенно интересна с точки зрения приватности. Пользователь может воспринимать окно ChatGPT как разговор один на один с машиной, но технически переписка находится на инфраструктуре компании, проходит автоматические проверки и в отдельных случаях попадает к сотрудникам. SecurityLab уже писал, что OpenAI обращается к правоохранительным органам при признаках непосредственной серьезной угрозы, а реальные диалоги пользователей могут просматривать специалисты и внешние подрядчики.
Бразильское дело теперь проверяет на практике сразу две границы. Первая проходит между приватностью пользователя и обязанностью платформы предотвратить возможное насилие. Вторая отделяет пугающий текст в окне чат-бота от действий, за которые человека уже можно привлекать к уголовной ответственности. И именно со второй границей у полиции пока остаются проблемы.
