ИИ как фабрика лжи: новый вызов для аналитиков дезинформации
Исследование показывает, как LLM-модели создают дезинформацию, которую сложно распознать.
Исследователи из Иллинойского технологического института выявили, что дезинформация, генерируемая большими языковыми моделями (Large Language Model, LLM), представляет собой более серьёзную угрозу по сравнению с дезинформацией, созданной человеком. Исследование ученых будет представлено на предстоящей международной конференции International Conference on Learning Representations.
Проблема обусловлена тем, что LLM-модели активно насыщают интернет сомнительным контентом. Например, аналитическая компания NewsGuard обнаружила 676 сайтов, генерирующих новости с минимальным участием человека, а также отслеживает ложные нарративы, созданные с помощью ИИ.
Дезинформация в исследовании возникает из-за того, что ChatGPT и другие LLM с открытым исходным кодом, включая Llama и Vicuna, создают контент на основе созданных человеком наборов дезинформационных данных, таких как Politifact, Gossipcop и CoAID. Затем 8 детекторов LLM оценили образцы, созданные человеком и машиной. Образцы дезинформации от LLM и человека имели одинаковые семантические детали, но различались стилем и формулировками из-за разных авторов и подсказок для генерации контента. Исследователи подчеркнули, что стиль дезинформации ИИ затрудняет её обнаружение по сравнению с человеческими текстами.
Авторы работы выделяют 4 стратегии создания дезинформации LLM: перефразирование информации, переписывание текста, открытая генерация и манипуляция информацией. Специалисты также отмечают, что LLM могут быть проинструктированы написать произвольную дезинформацию без справочного источника и могут создать фактически неверный материал в результате внутренней ошибки, которую в отрасли называют галлюцинацией ИИ.
В заключение исследователи призывают к совместным усилиям различных сторон, включая научное сообщество, правительства, веб-сервисы и общественность, для борьбы с распространением дезинформации, генерируемой LLM. Ведь такая информация представляет серьёзную угрозу для безопасности в интернете и общественного доверия, особенно учитывая лёгкость, с которой злоумышленники могут использовать LLM для массового создания обманчивого контента.
Мы нашли признаки жизни...в вашем смартфоне!
Наш канал — питательная среда для вашего интеллекта