Журналист взломал ChatGPT выдуманным рейтингом по поеданию хот-догов

Техрепортёр BBC Томас Жермен в интервью рассказал, как проверил на себе, насколько легко заставить популярные ИИ-сервисы принять любую выдумку за правду и начать повторять её в ответах. За пару недель до эксперимента Жермену подсказали: повлиять на ответы ChatGPT, Google Gemini и ИИ-сводок в Google иногда можно без сложных трюков. Достаточно выложить текст на своём сайте, и сервисы начинают использовать его как источник.

На личном сайте, который не собирает большого трафика, журналист разместил статью с абсурдным сюжетом и выдуманными деталями. В заголовке стоял рейтинг лучших журналистов по поеданию хот-догов. Текст описывал фейковый конкурс в Южной Дакоте и перечислял участников по местам. Первую строчку Жермен отвёл себе, дальше добавил нескольких реальных репортёров и вымышленных персонажей. У обладателей некоторых фамилий журналист заранее получил разрешение, чтобы не было претензий.

После публикации Жермен не делал с текстом ничего особенного и не пытался продвигать страницу. Журналист просто подождал и начал проверять, как быстро выдумка всплывёт в крупных сервисах: задавал Google и ChatGPT прямые вопросы по теме рейтинга и смотрел, откуда берутся ответы. Уже примерно через сутки оба инструмента начали пересказывать список с личного сайта как факт, без пометки, что информация не подтверждена ничем.

История с хот-догами понадобилась как безобидная демонстрация. Журналисту важно было показать сам механизм. Раньше компании старались поднять свою страницу в топ поисковой выдачи, чтобы пользователь сам кликнул и прочитал нужный текст. Теперь появляется другой путь: добиться, чтобы ИИ-сводка пересказала этот текст прямо в ответе, без перехода на сайт. Пользователь видит такой пересказ первым и часто принимает его за нейтральную справку, хотя исходный материал мог быть написан самой компанией в своих интересах.

Ситуацию осложняет то, как люди пользуются такими подсказками. В обычном поиске ответы разбросаны по ссылкам, и приходится хотя бы мельком оценить, кто пишет и откуда взята информация. ИИ-сводка убирает этот этап: на экране сразу появляется связный текст, а источник либо прячется внизу, либо вообще не помогает, потому что по ссылке трудно быстро найти тот фрагмент, на который опирался алгоритм. В результате многие останавливаются на одном абзаце и не проверяют, чьи слова ИИ пересказал.

Чтобы исключить случайность, Жермен повторил опыт с другим сюжетом. Журналист опубликовал на личном сайте текст о лучших дорожных полицейских по кручению хулахупа и заполнил список полностью вымышленными именами, должностями и городами. После этого ИИ-сводка Google начала пересказывать историю как реальную и добавляла детали о людях, которых не существовало. Эксперимент показал, что система реагирует не на авторитет площадки, а на сам факт появления правдоподобно оформленного текста в сети.

Специалисты, с которыми журналист обсуждал ситуацию, считают, что часть таких приёмов не сработала бы против традиционных поисковых механизмы так же легко. В классическом поиске пользователь видит источники и может оценить их качество, а ИИ часто сглаживает острые углы и превращает сырой набор ссылок в единый текст.

После эксперимента Жермен обратился к компаниям, чьи сервисы участвовали в проверке. По словам журналиста, представители индустрии отвечали предсказуемо: проблему знают, обещают доработки и пытаются закрывать самые очевидные лазейки. Критики при этом считают, что защита пока не поспевает за темпом распространения подобных приёмов. Схема, которая под силу одному человеку с личным сайтом, становится ещё эффективнее, когда за дело берётся маркетинговая команда с бюджетом на контент и сеткой сайтов.

В конце Жермен предлагает простое правило, которое помогает не попасться на уверенный тон ИИ. С общими вопросами вроде базовых фактов из истории или философии такие сервисы обычно справляются, потому что источников много и они в основном совпадают. Когда речь заходит о выборе товара или услуги, о деньгах, здоровье или юридических вопросах, короткий ответ лучше воспринимать как совет, а не как готовое решение. В таких темах приходится идти до первоисточника: открыть страницу, на которую опирается сводка, посмотреть формулировки в контексте и оценить, кому выгодно, чтобы пользователь поверил именно в эту версию.