Кто-то проектировал систему массовой слежки. Кто-то писал трояны для кражи паролей. ChatGPT помогал всем — до блокировки

OpenAI заблокировала несколько учетных записей ChatGPT, связанных, по данным компании, с китайскими государственными структурами. Эти пользователи пытались использовать искусственный интеллект не для разработки или исследований, а для проектирования систем цифрового наблюдения за пользователями соцсетей.

В опубликованном отчёте о киберугрозах OpenAI указала, что такие аккаунты обращались к ChatGPT с просьбами помочь составить планы и технические документы для инструментов анализа больших массивов данных. Речь шла не о прямом выполнении операций слежки, а о проектной подготовке будущих систем.

В этих случаях мы наблюдали, как злоумышленники просили ChatGPT помочь им собрать планы или техническую документацию для ИИ-инструментов наблюдения, но не использовать модель для самой слежки

, — пояснил Бен Ниммо, руководитель отдела разведки и расследований OpenAI.

Один из заблокированных пользователей, предположительно работавший из Китая через VPN, просил ChatGPT создать презентационные материалы и план реализации аналитической платформы для мониторинга публикаций в соцсетях. В своих запросах он называл будущий продукт зондом — системой, которая должна была автоматически сканировать посты на X, Facebook*, Instagram*, Reddit, TikTok и YouTube. По замыслу пользователя, эта платформа должна была искать публикации с экстремистскими высказываниями, а также сообщения на этнические, религиозные и политические темы. В своих обращениях он утверждал, что заказчиком выступает государственная организация. OpenAI, однако, не располагает сведениями, был ли этот проект реализован и действительно ли им могли пользоваться китайские ведомства.

В других инцидентах компания заблокировала аккаунт, пытавшийся получить данные о финансировании одной из страниц X, критикующих китайские власти, и пользователя, интересовавшегося организаторами петиций в Монголии. По словам OpenAI, в обоих случаях ChatGPT предоставлял только общедоступные сведения, не касающиеся личных данных и не содержащие конфиденциальной информации.

Подобные случаи — лишь фрагменты общей картины, но они дают важное представление о том, как авторитарные режимы могут в будущем пытаться использовать ИИ в своих интересах

, — отметил Ниммо.

С февраля 2024 года, когда OpenAI начала регулярно публиковать отчёты о злоупотреблениях, компания уже заблокировала более 40 сетей, нарушавших её политику. Пока специалисты отмечают, что большинство злоумышленников применяют ИИ не для принципиально новых атак, а для совершенствования привычных приёмов — от автоматизации фишинговых писем до создания фейковых новостей или написания вредоносных программ.

Однако в последние месяцы аналитики OpenAI наблюдают рост числа случаев, когда злоумышленники комбинируют несколько моделей одновременно. Руководитель подразделения угроз Майкл Флоссман рассказал, что одна из китайских сетей использовала ChatGPT для написания текстов фишинговых писем, а другую модель — DeepSeek — для массовой рассылки этих сообщений.

Похожие сценарии выявлены и в России. Несколько заблокированных аккаунтов применяли ChatGPT для написания сценариев и описаний видеороликов в рамках операции влияния под названием Stop News. Сами видео, по данным OpenAI, создавались с помощью других генеративных моделей и публиковались на YouTube и TikTok. Компания не смогла определить, какие именно инструменты использовались для генерации контента, но подтвердила, что это была координированная информационная кампания.

Кроме того, OpenAI заблокировала группу аккаунтов, которые пытались использовать ChatGPT для создания и улучшения вредоносного кода. Среди запросов встречались генерация компонентов удалённого доступа (RAT), программ для кражи паролей и cookies, обхода защитных механизмов SmartScreen и UAC, а также инструментов для перехвата данных из браузеров и криптокошельков.

В официальном заявлении компания отметила:

В соответствии с нашими внутренними мерами безопасности наши модели отклоняют запросы, которые явно носят вредоносный характер и не имеют легитимного применения. Мы продолжаем отслеживать подобные случаи и блокировать учетные записи, пытающиеся использовать ChatGPT для кибератак или систем наблюдения.

По данным OpenAI, эти аккаунты связаны с киберпреступными сообществами, участники которых обсуждали свои действия в Telegram-каналах, относящихся к конкретным группировкам. Хотя компания не раскрывает конкретные названия, её специалисты заявили, что обладают средней или высокой степенью уверенности в их происхождении.

В OpenAI подчёркивают, что публикация подобных отчётов помогает заранее выявлять потенциальные способы злоупотребления генеративным ИИ — будь то государственное наблюдение, дезинформация или создание вредоносов. Компания считает, что такие исследования позволяют вырабатывать меры защиты ещё до того, как начнётся настоящая цифровая эпидемия.

* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.