Драконы, укулеле и полная бессмыслица. Искусственный интеллект провалил тест на чувство юмора

Исследования искусственного интеллекта продолжают показывать, что даже самые продвинутые системы нередко теряются там, где людям всё кажется очевидным. Очередная работа специалистов из Великобритании и Италии подтверждает эту тенденцию: игры слов остаются для машин одним из самых непростых испытаний.

Команда из Университета Кардиффа и Венецианского университета Ка Фоскари изучила, насколько хорошо крупные языковые модели распознают каламбуры. Проверка показала, что системы уверенно фиксируют знакомые конструкции, но при этом не улавливают сам эффект двойного смысла. Для оценки брали фразы, основанные на игре слов, и заменяли ключевые элементы на обычные выражения или случайные слова. Даже после таких подмен модели по-прежнему видели там шутку, ориентируясь не на содержание, а на воспоминания о похожих примерах из обучения.

В одном из тестов использовали фразу «Когда-то я был комиком, но моя жизнь превратилась в шутку». После замены завершения на нейтральное слово системы всё равно воспринимали предложение как игру слов.

Аналогичная реакция возникла и при изменении каламбура о длинных сказках: «Long fairy tales have a tendency to dragon». Каламбур строится на том, что слово «dragon» звучит так же, как выражение «drag on» — «тянуться слишком долго». Получается шутка о том, что длинные сказки любят затягиваться, хотя буквальный перевод превращает её в бессмыслицу про драконов. Подстановка синонима или случайного слова не меняла впечатления систем о наличии каламбура, хотя двойной смысл исчезал полностью.

Руководивший работой Хосе Камачо Колладос отметил, что такие результаты связаны с особенностями обучения моделей. Они хорошо распознают знакомые конструкции, но не могут осмыслить их. Авторы подчёркивают, что системы склонны находить игру слов там, где её нет, и приписывают несуществующие смыслы. При столкновении с новым каламбуром точность распознавания может падать до двадцати процентов.

Дополнительные эксперименты показали, что модели способны находить мнимые связи даже в совершенно искусственных примерах. Когда слово «внимание» во фразе про устаревшие модели заменили на «укулеле», алгоритм увидел в этом созвучие и попытался объяснить его как шутку. Авторы исследования были поражены изобретательностью таких интерпретаций, но признают, что понимания самой игры слов там не было.

Эксперты отмечают важность учёта таких ограничений при использовании языковых моделей в задачах, требующих чуткого восприятия юмора, эмоций или культурных нюансов.