Современные нейросети, работающие на основе больших языковых моделей (LLM), долгое время вызывали опасения из-за своей способности выдавать ответы, которые, хоть и кажутся правдоподобными, на самом деле являются ошибочными. Этот процесс исследователи назвали "галлюцинациями". Однако новое исследование показывает, что в некоторых случаях искусственный интеллект может быть точнее, чем поиск в Google.
В эксперименте специалистов из Google и Университета Массачусетса были рассмотрены популярные модели, такие как ChatGPT-3.5, GPT-4 и Perplexity AI, и сам поисковик. Основная задача – проверить, насколько хорошо эти системы отвечают на актуальные вопросы, и сравнить результаты.
ИИ задали 600 вопросов различной сложности:
- Вопросы с однозначными постоянными ответами. Например, любимая порода собак королевы Елизаветы II.
- Динамичные вопросы, ответы на которые постепенно меняются, но не так быстро. Например, сколько видов автомобилей производит компания Tesla.
- Актуальные вопросы, такие как последний фильм с участием Брэда Питта. Такая информация меняется непрерывно, в довольно быстром темпе.
- Вопросы о выдуманных событиях. Например, о содержании первого поста Дональда Трампа после того, как Илон Маск разблокировал его аккаунт в Twitter.
Справиться с вопросами, основанными на ложных предпосылках, а также с актуальной на данный момент информацией ИИ было труднее всего. Однако многие ответы были вполне точными, грамотными и персонализированными, в отличие от результатов поиска в Google, который, по сути, лишь выдает набор ссылок по теме. Особенно выделилась Perplexity AI.
Тем не менее, стоит учитывать, что нейросети не всегда оперируют информацией в реальном времени и пользуются базой, заложенной в них на момент разработки.
Для решения проблемы ученые предложили алгоритм под названием FRESHPROMPT, способный интегрировать актуальные данные из открытого интернета.
Искусственный интеллект продолжает развиваться, и возможно, в будущем даже заменит существующие поисковики. Но при этом всегда стоит помнить о критическом мышлении и проверке фактов.