Два миллиарда параметров теперь помещаются не в серверной стойке и даже не в смартфоне, а прямо в оправе очков. PrismML показала мультимодальную модель Bonsai, которая локально работает на умных очках с платформой Qualcomm Snapdragon AR1 Gen 1 и способна в реальном времени разбирать то, что видит владелец.
Модель объединяет языковую часть на 1,7 млрд параметров и визуальный энкодер ещё на 0,3 млрд. Камера передаёт изображение локальному ИИ, после чего пользователь может спрашивать об объектах перед глазами и получать ответ без обязательной отправки запроса в облако. Такой сценарий приближает умные очки к роли постоянного персонального помощника, а не просто камеры или гарнитуры.
Главная особенность Bonsai связана не с числом параметров, а с тем, как хранятся веса модели. Языковая часть использует 1-битное представление, тогда как визуальный энкодер остаётся 4-битным. Поэтому называть всю двухмиллиардную систему полностью 1-битной было бы неточно.
По испытаниям Qualcomm, веса языковой части занимают около 0,43 ГБ вместо 1,66 ГБ у сопоставимой 4-битной версии. Сокращение почти в четыре раза позволило запустить заметно более крупную модель в тех же ограничениях по памяти. На тестовой платформе с 4 ГБ памяти и производительностью до 6 TOPS скорость генерации достигла 15,36 токена в секунду против 7,44 у 4-битного варианта. Похожая гонка за переносом локального ИИ из облака на компактное железо уже идёт и в других классах устройств.
Для очков экономия особенно ценна. В тонкой оправе мало места для памяти и аккумулятора, а лишнее тепло быстро превращается в проблему. PrismML вместе с Qualcomm оптимизировала архитектуру под нейропроцессор Hexagon, чтобы уменьшить объём данных и ускорить обработку без постоянной связи с дата-центром.
Заявленные цифры пока стоит воспринимать как результаты контролируемых испытаний. Тесты PrismML и Qualcomm проводились на специальных конфигурациях, включая внутреннюю версию программного комплекта QNN с поддержкой 1-битных вычислений. Разработчики предупреждают, что скорость зависит от конфигурации модели, программного обеспечения и нагрузки.
До серийного продукта технология пока не дошла. Ни PrismML, ни партнёры не представили потребительские очки с Bonsai, поэтому нынешняя демонстрация показывает техническую возможность, а не готовый гаджет. Серийных очков с такой моделью пока не анонсировали.
Всего двумя днями ранее Qualcomm показала другой масштаб локальных моделей: новый мобильный процессор способен запускать ИИ на 30 млрд параметров прямо на смартфоне. В очках доступный объём памяти и энергопотребление намного жёстче, поэтому ставка PrismML сделана не на абсолютный размер, а на максимальное сжатие.
Другой эксперимент показывает, насколько далеко зашла миниатюризация. В августе разработчик запустил нейросеть на микроконтроллере стоимостью меньше $10. На таком фоне 2 млрд параметров внутри очков выглядят ещё одним шагом к ИИ, который всё чаще работает рядом с пользователем, а не на удалённом сервере.