Оксфордские учёные: ИИ может искажать научные факты

Исследование Оксфордского университета поднимает тревожный вопрос об использовании искусственного интеллекта в научных исследованиях, предупреждая о риске галлюцинаций ИИ, которые могут привести к распространению ложной или предвзятой информации. Исследователи предлагают ограничить использование больших языковых моделей (LLM), таких как ChatGPT или Bard, для уменьшения их влияния на результаты научных работ.

Предложение учёных основано на наблюдении, что ИИ иногда генерирует убедительные, но полностью вымышленные данные. Такое явление особенно актуально, учитывая, что LLM-модели обучаются на онлайн-источниках, которые не всегда отражают достоверную информацию. Такая ситуация может привести к тому, что ИИ предоставит искаженные факты или вымыслы в ответ на запросы.

Авторы работы подчеркивают, что пользователи склонны воспринимать ответы, сгенерированные моделями, как достоверные, поскольку технология способна имитировать человеческую речь. Однако это создает риск того, что полностью недостоверная информация будет воспринята как правдивая, даже если она не основана на конкретных фактах.

Исследователи предлагают использовать LLM-модели в качестве «переводчиков с нулевым выстрелом», что подразумевает применение таких систем не для получения фактических данных, а для организации или систематизации информации. Авторы призывают к более осознанному подходу к возможностям ИИ, и к рассмотрению последствий использования ИИ в науке.

Предостережение актуально на фоне возрастающего интереса к применению ИИ в научных исследованиях, как показывает, например, использование ИИ в открытии экзопланет. Однако существует ряд проблем, таких как «проблема черного ящика», когда неясно, почему модель ИИ приходит к определенным выводам, что вызывает дополнительные вопросы о надежности и проверяемости данных, предоставляемых ИИ.