ChatGPT превратил умных неандертальцев в косматых троглодитов и довел антропологов до истерики

Сейчас, если у нас возникают вопросы о прошлом, которые не дают покоя и требуют немедленных ответов, мы нередко обращаемся к помощи нейросетей, в частности генеративных. Картинки и описания древних людей появляются за секунды. Но насколько такие ответы совпадают с современными научными данными? Это решили отдельно проверить американские исследователи. Антрополог Мэттью Маньяни из Университета штата Мэн вместе с специалистом по вычислительной антропологии Джоном Клинданиелом из Чикагского университета провели серию тестов с чат-ботами и генераторами изображений.

Ученые попросили две ИИ системы создать изображения и текстовые описания повседневной жизни неандертальцев. За основу они взяли модель, опирающуюся на многолетние научные теории и академические публикации, чтобы потом сравнить ответы с корпусом научных знаний. Задача состояла скорее не в том, чтобы уличить алгоритмы в невежестве, а в том, чтобы понять, какие искажения и устаревшие представления проявляются при обычном пользовательском запросе.

В работе использовали генератор изображений DALL-E 3 и текстовую модель через API ChatGPT на базе GPT-3.5. Исследователи составили четыре разных запроса и прогнали каждый по 100 раз. Два варианта не требовали научной точности. В двух других прямо указывалось, что результат должен соответствовать научным данным. Часть запросов была краткой, часть содержала дополнительные детали, например чем именно должны заниматься неандертальцы и какая на них одежда. Такой разбор позволил увидеть, влияет ли формулировка на достоверность ответа.

Проверка показала, что многое зависит от того, к каким источникам система фактически обращается. В этом эксперименте и изображения, и тексты часто опирались на устаревшие научные представления и работы. Авторы отдельно подчеркивают, что важно изучать встроенные искажения в повседневном использовании таких инструментов и сопоставлять быстрые ответы с актуальным состоянием науки. По их словам, остается открытым вопрос, в каких областях пользователи чаще получают устаревшие сведения от чат-ботов.

Тему неандертальцев выбрали не случайно. Первый научный рисунок их скелета появился еще в 1864 году. С тех пор взгляды ученых на внешний вид, одежду, способы охоты и образ жизни этого вида не раз менялись и оспаривались.

Сгенерированные изображения в основном воспроизводили облик, характерный для реконструкций более чем столетней давности. По представлениям антропологов той эпохи, неандертальцы выглядели как примитивные человекоподобные существа с чертами, сближенными с шимпанзе. Алгоритмы часто добавляли избыточную волосатость тела и сутулую позу. На картинках почти не встречались женщины и дети, хотя в реальных научных реконструкциях такие сцены давно считаются нормой.

Текстовые описания тоже расходились с современными публикациями. Культура и поведение неандертальцев подавались упрощенно, без той вариативности и сложности, которую сегодня признают и описывают антропологи. Около половины сгенерированных рассказов не совпали с академическими данными. Для одного из вариантов запроса доля расхождений превысила 80%.

Исследователи заметили и анахронизмы. В изображениях и текстах появлялись технологии, которые не соответствуют эпохе. Среди них плетеные корзины в развитом виде, крыши из соломы сложной конструкции, лестницы, изделия из стекла и металла. Для неандертальского времени такие детали считаются слишком продвинутыми.

Команда сопоставила полученные результаты с научной литературой разных десятилетий и попыталась определить, на какие периоды больше всего похожи ответы алгоритмов. Тексты ChatGPT оказались ближе всего к представлениям 1960-х годов. Визуальные образы DALL-E 3 чаще совпадали с научно-популярными реконструкциями конца 1980-х и начала 1990-х.

Авторы считают, что повысить точность данных можно через улучшение доступности научных данных для ИИ систем. Речь идет о том, чтобы антропологические базы и академические статьи были открыты и технически пригодны для машинного анализа. Ограничения авторского права, введенные еще в 1920-х годах, долгое время сдерживали свободный доступ к научным текстам. Ситуация начала меняться только с распространением открытых публикаций в начале 2000-х. Политика доступа к исследованиям, по мнению ученых, напрямую повлияет на то, как ИИ будет «рисовать» прошлое.

Исследователи также отмечают образовательный аспект. Студентов стоит учить работать с генеративными моделями осторожно и с долей скептицизма, проверяя ответы по авторитетным источникам. Текущая работа входит в серию проектов, где та же группа изучает применение ИИ в археологии и анализе исторических данных.