ИИ верит всему, что написано на заборе. Эксперимент Томаса Жермена по взлому логики нейросетей

Популярные сервисы искусственного интеллекта оказались уязвимы к примитивным манипуляциям. Журналист BBC Томас Жермен показал, что изменить ответы чат-ботов можно за считаные минуты — и для этого не нужны ни специальные навыки, ни доступ к внутренним системам компаний.

Жермен провёл эксперимент с участием ChatGPT от компании OpenAI и поисковых инструментов Google, включая Gemini. Он опубликовал на личном сайте вымышленный материал о том, что якобы является лучшим среди технологических журналистов по поеданию хот-догов. В тексте фигурировали несуществующие соревнования и сфабрикованный рейтинг. Уже через сутки чат-боты начали пересказывать эти утверждения в ответ на соответствующие запросы пользователей.

По словам автора, на создание фальшивой публикации ушло около двадцати минут. После индексации страницы системы ИИ стали использовать её как источник, иногда указывая ссылку, но не поясняя, что других подтверждений в сети нет. Исключением оказался Claude от компании Anthropic, который не воспроизвёл ложные данные.

Проблема выходит далеко за рамки безобидной мистификации. Специалисты по поисковой оптимизации утверждают, что аналогичные приёмы применяют для продвижения коммерческих услуг и товаров. Достаточно разместить текст с нужными формулировками — и алгоритмы могут начать цитировать его в ответах на узкие или редкие запросы. Особенно уязвимы темы, по которым в сети мало проверенной информации, — именно в таких «информационных пустотах» риск распространения дезинформации наиболее высок.

В компании Google заявили, что встроенные механизмы ранжирования защищают поиск от спама и что разработчики работают над устранением попыток обхода систем. В OpenAI также сообщили о мерах против скрытого влияния на ответы моделей и напомнили, что сервис может ошибаться.

Однако представители отрасли считают, что развитие генеративного поиска опережает инструменты контроля. По их оценке, ИИ охотно подхватывает пресс-релизы, рекламные материалы и тексты с платных площадок, если те оформлены как экспертные обзоры. Это создаёт риск распространения недостоверных сведений о медицинских препаратах, финансовых продуктах и других чувствительных темах, а сами подобные приёмы давно превратились в инструмент целенаправленных манипуляций.

Дополнительную тревогу вызывает поведение пользователей. Исследования показывают, что при появлении ИИ-обзора в верхней части поисковой выдачи люди реже переходят по ссылкам на источники. В результате утверждения, сформулированные уверенным тоном, воспринимаются как проверенные факты, хотя могут опираться на единственную публикацию сомнительного происхождения.

По мнению участников рынка, решить проблему можно за счёт более прозрачного указания источников и ограничений для ответов в так называемых «информационных пустотах» — ситуациях, когда данных по запросу почти нет. Пока же даже простой блог-пост способен повлиять на то, что крупнейшие ИИ-системы сообщают миллионам пользователей.