Слова против алгоритмов: почему распознать машинный текст не могут даже лингвисты?

Новое исследование, опубликованное в научном журнале ScienceDirect, бросает вызов специалистам в области лингвистики. Оказывается, даже они не могут с уверенностью определить, написан текст человеком или искусственным интеллектом.

Эксперимент провели Мэтью Кесслер из Университета Южной Флориды и Дж. Эллиотт Казал из Университета Мемфиса. В качестве участников были привлечены 72 человека: редакторы крупных изданий и сотрудники научных организаций. Каждому предоставили несколько академических статей от разных авторов.

Результаты удивили ученых. Ни один из экспертов не смог правильно идентифицировать все четыре предложенных материала. Только 13% участников не угадали ни разу. Общий процент правильных выводов составил всего 38,9%.

Исследователям было особенно интересно узнать, на чем основывались решения испытуемых. «Они предложили вполне логичные аргументы, но, тем не менее, часто ошибались». — заметил Кесслер

Выяснилось, что в коротких текстах большие языковые модели вроде ChatGPT могут даже превосходить человеческие способности, особенно если речь идет о грамматике. Однако в длинных статьях чат-боты часто искажают факты и забывают о правилах языка. Такие материалы идентифицировать проще.

Мэтью Кесслер выразил надежду, что это исследование станет отправной точкой для более широкого обсуждения этических и нормативных аспектов использования нейросетей в научных и образовательных процессах.

В июне ученым из Канзаса удалось создать механизм, который автоматически определяет текстовые материалы, сгенерированные нейросетью, с точностью до 100%. Такой инструмент в будущем мог бы регулировать вопросы авторского права, плагиата и дезинформации.