Apple представляет ReALM: Siri нового поколения с революционным ИИ

Apple прорывается в будущее с новой разработкой в области искусственного интеллекта, которая может существенно улучшить функционал голосового помощника Siri.

В своей научной работе компания представила систему ReALM, способную анализировать и интерпретировать информацию с экрана пользователя и активные задачи, делая Siri более умным и полезным помощником.

ReALM рассматривает 3 типа объектов:

• Объекты, отображаемые на экране пользователя;
• Объекты, связанные с разговором, включая данные из предыдущих запросов пользователя или предложения виртуального ассистента;
• Фоновые объекты, не являющиеся прямой частью взаимодействия пользователя с устройством, например, музыка, играющая в фоновом режиме.

Система ReALM демонстрирует значительные улучшения по сравнению с существующими системами, особенно в области распознавания объектов, отображаемых на экране. В тестах, сравнивающих ReALM с ChatGPT 3.5 и 4.0, самая маленькая модель ReALM показала результаты, сопоставимые с GPT-4, а более крупные модели значительно превзошли последний.

Примеры скриншотов, которые распознавала модель ReALM

Такие результаты подчеркивают потенциал ReALM как эффективной системы разрешения ссылок, способной работать на устройстве без потери производительности. Технологоия может стать ключом к следующим этапам развития платформы Apple, начиная с iOS 18 и конференции WWDC 2024, которая запланирована на 10 июня.

Таким образом, Apple обещает не только улучшение взаимодействия Siri с изображениями в сообщениях и уведомлениях, но и значительное усиление интеллектуальных возможностей ассистента благодаря применению новейших разработок в области искусственного интеллекта. Такие инновации обещают сделать Siri более интуитивно понятным и удобным в использовании, повысив практическую ценность ассистента для пользователей.