ChatGPT, Claude, Gemini и OLMo попросили написать тысячи совершенно новых рассказов, но модели упорно возвращались к одному и тому же миру. В 20 тысячах текстов снова и снова появлялись маяки, смотрители и герой по имени Элиас, причем маяк встретился больше чем в половине историй. Авторы исследования считают, что эксперимент показывает, насколько узким может оказаться «воображение» современных языковых моделей.
Исследователи проверили Claude Haiku 4.5, Gemini 3.1 Flash-Lite, GPT-5.4-Mini и OLMo 7B Thinking. Каждой модели тысячу раз отправили пять простых просьб вроде «Напиши рассказ» и «Расскажи мне историю». В итоге четыре системы создали 20 тысяч текстов общим объемом 12,8 млн слов.
Разброс сюжетов оказался намного меньше, чем можно было ожидать от такого объема. Всего 11 слов встретились хотя бы раз в 88,3% рассказов. В этот набор попали имена Элиас, Мара и Элара, профессии смотрителя, часовщика, пекаря, рыбака, библиотекаря, мэра и кондуктора, а также маяк.
Маяк появился в 51,2% историй, Элиас в 26,5%, а смотритель в 48,1%. Маяк, Элиас и смотритель в разных сочетаниях встречались в 66,6% текстов. Claude зашел еще дальше: 56% его рассказов получили одно и то же название «Секрет смотрителя маяка».
Авторы проверили, не повторяют ли модели просто самые распространенные мотивы человеческой литературы. Сравнение с корпусом из 2700 современных англоязычных романов показало обратное. Например, имя Элиас модели употребляли примерно в 900 раз чаще, чем писатели. В огромном массиве интернет-текстов, на котором обучалась открытая модель OLMo, исследователи тоже не нашли достаточного количества маяков и Элиасов, чтобы объяснить такую частоту.
Вероятную причину авторы ищут на более поздних этапах, когда разработчики дообучают модели и корректируют их ответы. Из 78 958 художественных текстов, которые OLMo получила после основного обучения, лишь 3053 содержали хотя бы одно из 11 характерных слов. Доля составила всего 3,8%, однако после настройки модель стала выбирать эти мотивы несоразмерно чаще.
Исследователи также нашли Элиаса и истории о маяках в наборе WildChat, куда вошел миллион реальных диалогов пользователей с ChatGPT. Материалы на основе WildChat затем попадали в другие обучающие наборы. Авторы считают этот источник возможной отправной точкой, но пока не доказали, что именно оттуда маячный сюжет распространился между разными семействами моделей.
Одна из рабочих гипотез касается настройки ИИ на безопасные и приемлемые ответы. Среди текстов для дополнительного обучения встречаются фанфики, персонажи, защищенные авторским правом, взрослый контент и другие темы, которых готовые чат-боты обычно стараются избегать. При настройке модели могут чаще закреплять нейтральные истории, и тихий смотритель маяка оказывается очень удобным вариантом. Точную причину авторам еще предстоит проверить.
Эксперимент показывает более общую проблему генеративного ИИ. Модель способна каждый раз складывать слова в новый текст, но выбор героев, профессий и декораций может оставаться удивительно узким. Поэтому две истории не обязательно будут оригинальными только потому, что ни одно предложение в них не совпадает.
