ИИ как фабрика лжи: новый вызов для аналитиков дезинформации

Исследователи из Иллинойского технологического института выявили, что дезинформация, генерируемая большими языковыми моделями (Large Language Model, LLM), представляет собой более серьёзную угрозу по сравнению с дезинформацией, созданной человеком. Исследование ученых будет представлено на предстоящей международной конференции International Conference on Learning Representations.

Проблема обусловлена тем, что LLM-модели активно насыщают интернет сомнительным контентом. Например, аналитическая компания NewsGuard обнаружила 676 сайтов, генерирующих новости с минимальным участием человека, а также отслеживает ложные нарративы, созданные с помощью ИИ.

Дезинформация в исследовании возникает из-за того, что ChatGPT и другие LLM с открытым исходным кодом, включая Llama и Vicuna, создают контент на основе созданных человеком наборов дезинформационных данных, таких как Politifact, Gossipcop и CoAID. Затем 8 детекторов LLM оценили образцы, созданные человеком и машиной. Образцы дезинформации от LLM и человека имели одинаковые семантические детали, но различались стилем и формулировками из-за разных авторов и подсказок для генерации контента. Исследователи подчеркнули, что стиль дезинформации ИИ затрудняет её обнаружение по сравнению с человеческими текстами.

Авторы работы выделяют 4 стратегии создания дезинформации LLM: перефразирование информации, переписывание текста, открытая генерация и манипуляция информацией. Специалисты также отмечают, что LLM могут быть проинструктированы написать произвольную дезинформацию без справочного источника и могут создать фактически неверный материал в результате внутренней ошибки, которую в отрасли называют галлюцинацией ИИ.

В заключение исследователи призывают к совместным усилиям различных сторон, включая научное сообщество, правительства, веб-сервисы и общественность, для борьбы с распространением дезинформации, генерируемой LLM. Ведь такая информация представляет серьёзную угрозу для безопасности в интернете и общественного доверия, особенно учитывая лёгкость, с которой злоумышленники могут использовать LLM для массового создания обманчивого контента.