Выдуманная болезнь, абсурдные подсказки и ИИ, который поверил. Эксперимент, который должен напугать каждого, кто пользуется ChatGPT

Иногда для проверки искусственного интеллекта не нужны сложные атаки и тонкая подмена данных. Хватит одной выдуманной болезни, пары фальшивых научных текстов и нескольких недель ожидания. Именно так медицинский исследователь из Гётеборгского университета Альмира Османович Тунстрём показала, с какой легкостью крупные ИИ-системы превращают очевидную подделку в «медицинский факт».

Эксперимент начался в 2024 году. Исследователь придумала болезнь под названием «биксономания» и описала симптомы так, чтобы история звучала правдоподобно для миллионов людей, которые часами сидят перед экранами: раздражение глаз, потемнение кожи вокруг век и вред от синего света. Затем команда загрузила на Preprints.org два фиктивных препринта, оформленных почти как настоящие научные работы.

Подделку замаскировали не слишком старательно, а скорее наоборот. В авторах значились вымышленные люди, университет и город не существовали, а среди благодарностей всплывали «Академия Звёздного флота» и USS Enterprise. В одном из текстов авторы прямо писали, что работа выдумана. Но крупным языковым моделям таких сигналов хватило не для того, чтобы распознать обман, а для того, чтобы начать пересказывать фальшивку как достоверную медицинскую информацию, о чем подробно рассказал Nature.

По данным издания, уже весной 2024 года Microsoft Copilot называл биксономанию редким, но реальным состоянием, Google Gemini советовал обращаться к офтальмологу, Perplexity приводил статистику по заболеваемости, а ChatGPT помогал сопоставлять симптомы с несуществующим диагнозом. Проще говоря, выдумка быстро вышла за пределы эксперимента и начала жить своей жизнью внутри популярных ИИ-сервисов.

Самая неприятная часть истории началась позже. Фиктивные препринты добрались не только до чат-ботов, но и до научной литературы. Один из таких текстов процитировали в статье журнала Cureus, где биксономанию уже описывали как новую форму периорбитальной меланозы. Позже журнал выпустил отзыв публикации. Формально история про ошибку ИИ внезапно превратилась в историю про сбой всей цепочки проверки знаний.

После огласки оба препринта с выдуманной болезнью тоже сняли с публикации. На страницах первой и второй работ указано, что 10 апреля 2026 года материалы были отозваны как сфабрикованные и не представляющие действительное научное исследование. Но сам эксперимент уже успел показать главное: автоматические системы плохо отличают правду от аккуратно оформленной лжи, когда ложь выглядит как академический текст.

История с биксономанией бьет не только по репутации чат-ботов. Случай показывает, насколько опасным становится союз небрежной научной проверки, автоматического индексирования и привычки доверять машине уверенный тон. Сегодня ИИ пересказывает выдуманную болезнь, завтра продавец «полезных» очков от синего света или другой сомнительный бизнес может использовать тот же прием уже не ради эксперимента, а ради денег.

Для обычного читателя вывод звучит просто и неприятно. Красиво оформленный ответ чат-бота, ссылка на «научную работу» и уверенный медицинский язык больше не гарантируют вообще ничего. Когда выдуманный диагноз проходит путь от шуточного препринта до советов обратиться к врачу, проблема уже не в одной неудачной модели, а в доверии к целой цифровой системе знаний.