«Рататуй» на 150 языках (но есть нюанс). Broadcom показала ИИ-чип для перевода видео

Broadcom представила новый чип с поддержкой нейросетевых функций для выполнения голосового перевода и аудиоописания непосредственно на устройстве, без подключения к облачным сервисам. Совместно с CAMB.AI разработчики стремятся изменить подход к обработке мультимедийных данных, сделав технологии доступности более автономными и защищёнными.

Главное преимущество новой системы — полностью локальная обработка. Все процессы происходят внутри устройства, без отправки данных во внешние сети. Это снижает задержки до минимума, уменьшает нагрузку на каналы связи и повышает уровень конфиденциальности. Особенно это важно для задач, связанных с переводом речи и созданием описаний происходящего на экране — функций, востребованных людьми с нарушениями зрения или слуха.

В качестве примера разработчики продемонстрировали короткое видео, где технология озвучивает и сопровождает визуальным переводом фрагмент из мультфильма «Рататуй». Система автоматически определяет происходящее в кадре, формирует описание и воспроизводит его голосом на нескольких языках. При этом текст синхронно отображается на экране. По мнению команды, такие функции помогут сделать фильмы и телепередачи более доступными для широкой аудитории.

Однако текущая демонстрация не отражает реальных условий. Ролик был смонтирован вручную, и пока не ясно, как система справится с живым контентом — особенно в режиме реального времени и при нестабильных звуках. Также остаётся открытым вопрос точности описаний, особенно при нечёткой визуальной информации. Тем не менее уже известно, что голосовая модель, лежащая в основе решения, применяется в трансляциях NASCAR, на телеканале Comcast и даже в рамках музыкального конкурса Eurovision.

Создатели обещают поддержку более чем 150 языков, включая редкие диалекты, и заявляют о высокой гибкости для внедрения в различные устройства — от телевизоров до носимой электроники. Конкретные сроки появления продукции на рынке не называются: проект находится в стадии тестирования. Это не единственный шаг Broadcom в направлении искусственного интеллекта — ранее компания объявила о партнёрстве с OpenAI для выпуска специализированных чипов, ориентированных на генеративные ИИ-задачи.