Ты не знал слово “проснебешенство”, но оно звучит убедительно. Вот почему с ИИ нужно быть начеку.
Иногда лучший способ проверить интеллект — это сказать ему что-то бессмысленное. Именно так поступил профессор Майкл Витевич из Канзасского университета, устроив языковому ИИ масштабное испытание. Вместо привычных задач он предложил ChatGPT забытые слова, испанские звуки и вымышленные термины — и по реакции модели попытался разобраться, где границы её понимания, а где начинается машинная импровизация.
Первый этап эксперимента был посвящён редкой лексике. Витевич отобрал 52 слова, давно исчезнувших из повседневной речи. В списке оказались такие диковинки, как «upknocker» — так в XIX веке называли человека, который будил рабочих постукиванием по окну. В те времена это была настоящая профессия, альтернативы будильнику ещё не существовало. Учёного интересовало, сумеет ли ИИ распознать значения этих архаизмов и воспроизвести их корректно.
Результат оказался неоднозначным: в 36 случаях ChatGPT дал вполне точные объяснения. В 11 эпизодах он отказался отвечать, честно признавшись, что ответа не знает (респект за честность). Однако в трёх случаях вместо интерпретации модель выдала перевод на иностранный язык, а в двух — придумала значения, которых на самом деле никогда не существовало.
По всей видимости, нейросеть и правда может запоминать и воспроизводить даже крайне редкие термины. Но когда уверенности не хватает, склонна заполнять пробел вымыслом — не по злому умыслу, а из желания выдать «правдоподобный» ответ и не разочаровать человека. Подобная изобретательность может быть опасной, особенно если воспринимать её слова как окончательную истину.
На втором этапе Витевич применил приём из классической психолингвистики: он демонстрировал модели реальные испанские слова и просил её назвать английские, напоминающие их по звучанию. Для человека такая задача довольно естественна — мы умеем сопоставлять незнакомые слова с привычной речью на уровне интонации и артикуляции. Но ChatGPT в большинстве случаев не переходил на английский, а продолжал генерировать текст на испанском.
Это поведение демонстрирует ключевую разницу между человеческим восприятием и алгоритмическими принципами работы нейросетей. Когда человек сталкивается с непонятным словом, он старается интерпретировать его через знакомую языковую призму. Модель, наоборот, не анализирует звучание как единицу смысла — она следует статистическим шаблонам и продолжает ту языковую последовательность, где плотность предсказаний выше. Вместо фонетического соотнесения с другим языком, она просто «двигается дальше» в рамках наиболее вероятного текста, не переключаясь на иную систему.
На заключительном этапе эксперимента профессор решил проверить способность модели оценивать «английскость» вымышленных слов. Он сам составил список неологизмов, базируясь на различных фонетических комбинациях — от убедительно звучащих до совершенно абсурдных. Например, «stumblop» (спотыкырь) и «lexinize» (лексинизировать). Модель должна была оценить каждое слово по шкале от 1 до 7 — от полной неестественности до максимального сходства с настоящим английским.
ChatGPT справился удивительно точно. Его оценки почти полностью совпали с мнением группы живых испытуемых. Это говорит о том, что модель хорошо улавливает статистику звуковых структур и может отличить правдоподобный неологизм от словесной несуразицы. Её представление о языке формируется из миллиарда фрагментов, и в этом случае оно оказалось весьма точным.
Но на этом проверка не закончилась. Витевич предложил ИИ самостоятельно придумать слова для понятий, которым в английском пока не соответствует ни один термин. Здесь нейросеть проявила изобретательность и создала собственные неологизмы, прибегая к приёмам, характерным для человеческой языковой интуиции: она комбинировала морфемы, подбирала смысловые ассоциации и строила новые конструкции с внутренней логикой.
Так появились такие, как «prideify» (горделиться) — чувство гордости за чужие успехи, и «rousrage» (проснебешенство) — раздражение от внезапного пробуждения. По мнению исследователя, последнее из слов особенно выразительно: в нём удачно сочетаются эмоциональность и акустическая правдоподобность.
Важно, что модель не просто собрала звуки в красивую обёртку. Она передала суть ощущений, с которыми сталкивается любой человек, но не всегда может их точно назвать. Это позволяет говорить о генеративном ИИ как о потенциальном соавторе в расширении словаря, а не только о средстве для подстановки текста.
Эксперимент получился многослойным. Он охватывает и исторические пласты языка, и фонетическое восприятие, и возможности креативного синтеза. Каждый этап высвечивает разные аспекты поведения языковой модели — от устойчивых знаний до склонности к фантазиям.
Особенно интересно, как ChatGPT справляется с задачами, где нет единственно правильного ответа. Там, где человеку приходится опираться на интуицию и контекст, модель предлагает свои версии, которые могут быть как меткими, так и курьёзными. Но именно на таких стыках и рождаются возможности для совместного использования — где машина не заменяет человека, а дополняет его.
Смысл эксперимента Витевича не в том, чтобы подловить ИИ на ошибке, а в том, чтобы понять, где проходит грань между знанием и подражанием. Порой именно в абсурде проявляется структура мышления — или её отсутствие. Проблемы, связанные с галлюцинациями ChatGPT , уже находят практическое применение в различных областях, от медицинских диагнозов до программирования. И если мы хотим, чтобы машины стали нашими языковыми партнёрами, сначала стоит поговорить с ними… чепухой.
Лечим цифровую неграмотность без побочных эффектов