Почти половина участников эксперимента Tavus после минутного видеозвонка решила, что разговаривала с живым человеком, хотя лицо, голос и ответы собеседника в реальном времени создавал искусственный интеллект Griffin-Lite. Из 54 человек машину не распознали 26, или 48%, и разработчики назвали результат первым прохождением видеоверсии теста Тьюринга в живом разговоре.
Участников из США и Европы набрали через независимую исследовательскую платформу. Им сообщили, что система соединит их с другим участником для минутного разговора о планах и ожиданиях на год. На другом конце видеосвязи находился Griffin-Lite, который сам генерировал лицо, речь и ответы собеседницы. О присутствии ИИ людям заранее не говорили.
После звонка участники пересказали ответ собеседника и оценили естественность общения, доверие к партнёру, плавность разговора и ощущение, что их действительно слушали. Лишь в конце опроса организаторы спросили, возникала ли мысль, что собеседник может быть искусственным интеллектом. После завершения эксперимента всем раскрыли подмену.
Люди, принявшие Griffin-Lite за человека, были уверены в своём ответе в среднем на 79%. Участники, распознавшие ИИ, оценили уверенность в 81%. Больше половины добровольцев во время разговора вообще не задумывались о возможной подмене, а подозрения у остальных обычно появлялись в первые 20 секунд.
Tavus сравнила Griffin-Lite со своей предыдущей системой, где отдельные модели отвечали за изображение, восприятие собеседника и управление разговором. В аналогичном тесте прежнюю систему приняли за человека только один из 41 участника, или 2,4%.
Главное отличие Griffin-Lite разработчики связывают с тем, как модель ведёт разговор. Обычный голосовой ИИ часто работает по очереди: сначала слушает реплику, затем распознаёт речь, готовит ответ и только после начинает говорить. Griffin-Lite продолжает одновременно смотреть, слушать и генерировать собственную реакцию. Модель может кивнуть во время чужой фразы, выдержать паузу, начать отвечать без долгого молчания или остановиться, если человек её перебил.
Изображение тоже создаётся непрерывно, а не собирается заранее готовыми роликами. Griffin-Lite выдаёт видео разрешением 720p фрагментами примерно по 320 мс. На ускорителях Nvidia H100 задержка от поступления звука до соответствующей реакции лица в видео составляла в среднем 0,43 секунды. По словам Tavus, система также учитывает взгляд, выражение лица, паузы и движения перед камерой, поэтому разговор зависит не только от распознанных слов.
Способность работать с невербальными сигналами отдельно проверили в независимом бенчмарке VideoFDB, построенном на 237 фрагментах настоящих видеозвонков. Проверка оценивает, замечает ли модель паузы, взгляд, мимику и другие сигналы, а также насколько естественно сама отвечает голосом и изображением. Griffin-Lite набрала 3,73 балла из пяти за восприятие происходящего при человеческом эталоне 4,20 и 3,83 балла за собственные реакции при результате человека 3,92.
При этом цифра 48% пока не доказывает, что Griffin-Lite невозможно отличить от человека в обычной жизни. Эксперимент организовала сама Tavus, выборка состояла всего из 54 человек, разговор длился одну минуту, а участникам заранее сказали, что собеседником станет другой человек. Неизвестно, сохранится ли результат при десятиминутном разговоре, обсуждении сложной темы, общении на других языках или в ситуации, когда пользователь с самого начала пытается разоблачить ИИ.
Сам по себе тест Тьюринга Griffin тоже проходит не первым. Текстовые модели уже убеждали собеседников в своей человечности с ещё большей частотой. Новизна эксперимента Tavus заключается именно в видеосвязи, где машине приходится одновременно правдоподобно поддерживать речь, голос, мимику, взгляд и ритм живого разговора.
Tavus пока не открыла Griffin-Lite обычным клиентам и предоставляет исследовательскую версию только ограниченной группе тестировщиков. Разработчики прямо признают риск: система, способная убедительно изображать живого человека во время видеозвонка, одновременно получает мощный инструмент для обмана. Перед более широким запуском компания собирается добавить механизмы, которые будут явно сообщать собеседнику, что перед ним искусственный интеллект.
