Исследователи создали искусственный интеллект, который пытается определить, кто придумал содержание научной статьи: человек или нейросеть. Новая система IdeaLens изучает аргументы, доказательства и ход рассуждений, практически не обращая внимания на стиль написания. Во время испытаний алгоритм распознал 91,1% полностью сгенерированных документов и значительно реже ошибался, когда учёные использовали ИИ только для редактирования собственных работ.
Научные журналы всё чаще сталкиваются с публикациями, которые нейросети подготовили почти без участия исследователей. При этом многие издания разрешают авторам исправлять язык и улучшать формулировки с помощью искусственного интеллекта, если основные идеи принадлежат самим учёным. Разобраться, где заканчивается обычная редактура и начинается машинное исследование, становится всё труднее.
Привычные детекторы ИИ ищут характерные слова, повторяющиеся обороты и слишком предсказуемые предложения. Однако человек вполне может самостоятельно провести эксперимент, написать статью и затем попросить ChatGPT улучшить английский язык. После редактирования проверка иногда принимает настоящую научную работу за машинную. Особенно сильно проблема затрагивает исследователей, для которых английский не родной.
Создатели IdeaLens предложили смотреть глубже. Сначала языковая модель разбирает документ и составляет подробный план, сохраняя главные утверждения, доводы и доказательства. Исходные формулировки убирают, чтобы стиль автора не влиял на оценку. Затем другой алгоритм изучает полученную структуру и пытается выяснить, человек или искусственный интеллект придумал содержание.
Разработчики обнаружили любопытную закономерность. Человеческие рассуждения чаще содержат конкретные подробности, проверяемые сведения, ограничения и объяснения, почему выводы могут оказаться неверными. Нейросети нередко строят более гладкие рассуждения, но подкрепляют утверждения общими доводами. Иногда алгоритм приводит цифры без необходимого контекста или делает выводы, для которых не хватает доказательств. IdeaLens учится замечать различия, хотя исследователи пока не могут полностью объяснить, на какие признаки система опирается при каждом решении.
Самые интересные результаты появились, когда авторы намеренно разделили создание идей и написание текста. В одном эксперименте люди составляли подробные планы, а нейросети превращали их в готовые документы. Популярный детектор Pangram назвал машинными 92% полученных работ. IdeaLens отметил лишь 7%, поскольку распознал человеческое происхождение основных идей. Когда планы составлял искусственный интеллект, новая система обнаруживала машинное содержание более чем в 96% случаев.
Ещё один эксперимент показал, насколько сильно обычная редактура сбивает с толку существующие проверочные инструменты. Исследователи взяли человеческие тексты и попросили нейросети исправить формулировки, улучшить стиль или пересказать содержание другими словами. IdeaLens правильно определил человеческое происхождение идей примерно в 95% случаев. Pangram справился только с 44% документов, хотя авторы не поручали ИИ придумывать содержание.
Разработчики проверили и обратный сценарий. Участники получили 50 планов рассказов, придуманных искусственным интеллектом, и самостоятельно написали по ним полноценные произведения. IdeaLens распознал машинную основу в 68% историй, тогда как Pangram обнаружил её лишь в 8%. Получается, новый алгоритм способен замечать следы нейросетевой работы даже после того, как человек полностью переписал исходный материал своими словами. Правда, испытание проводили на художественных рассказах, а не на научных статьях.
Всего исследователи проверили систему на 19 наборах данных с полностью человеческими и машинными документами. IdeaLens обнаружил в среднем 91,1% текстов, созданных ИИ, и ошибочно обвинил человеческих авторов лишь в 0,6% случаев. Дополнительные испытания охватили 24 языка. Хотя систему обучали на англоязычных материалах, после преобразования иностранных текстов в планы на английском языке алгоритм сохранил высокую точность.
Для обучения разработчики собрали около миллиона документов, включая научные публикации, новости, рассказы и записи в блогах. Сначала Pangram распределил материалы по двум категориям, человеческие и машинные. Затем языковые модели превратили тексты в планы, по которым обучали IdeaLens. У такого подхода есть слабое место: исследователи не проверили вручную происхождение каждого документа. Если первоначальный детектор ошибался, неправильные оценки могли повлиять на обучение новой системы.
Главная нерешённая проблема касается работ, над которыми человек и нейросеть думают вместе. Например, учёный предлагает гипотезу, обсуждает её с ChatGPT, получает несколько новых аргументов и на основе обсуждения меняет направление эксперимента. Кому в итоге принадлежит идея? IdeaLens пока не умеет надёжно оценивать вклад каждого участника и выдаёт только два варианта ответа: человек или ИИ. Подлинно совместные исследования разработчики ещё не проверяли.
Авторы открыли доступ к IdeaLens и опубликовали программный код. В будущем инструмент может помочь редакциям научных журналов находить подозрительные публикации и одновременно защищать добросовестных учёных от ошибочных обвинений. Однако разработчики предупреждают, что результат автоматической проверки нельзя считать доказательством обмана. Даже если алгоритм правильно определил происхождение идей, научную достоверность выводов всё равно придётся проверять людям. Идею может предложить нейросеть, а доказать или опровергнуть её способны только полноценные исследования.