Open Glass: умные очки за $20 могут заговорить голосом любого ИИ чат-бота

То, что начиналось как обычный проект для хакатона, может перевернуть рынок умных очков и дать мощный толчок развитию открытого сообщества разработчиков. Всего за 24 часа команда молодых энтузиастов из Сан-Франциско собрала прототип Open Glass — умных очков за $20, интегрированных с ИИ чат-ботами и анализирующих окружающую обстановку с помощью камеры и микрофона.

Утром в субботу Скотт Фитсимонс, один из разработчиков, отправился в центр города, не подозревая, чем обернется этот день. Он рассчитывал лишь забрать ИИ-кулон у знакомого Ника Шевченко, однако тот совершенно спонтанно предложил другу принять участие в мероприятии.

«О хакатоне я понятия не имел, получилось совершенно случайно, — вспоминает Фитсимонс. — Но мы сразу же погрузились в работу над прототипом».

Шевченко занимался «железом» для очков. К нему присоединились Степан Коршаков, ответственный за сложнейшую программную часть, а также Фитсимонс, Шриганеш Раманан и Джатин Гупта.

Хакатон длился целых 24 часа. Все это время, в большом светлом зале с панорамными окнами, юные программисты трудились на пушистых диванчиках, спасаясь энергетическими напитками La Croix. Cerebral Valley регулярно проводит подобные хакатоны, собирая местное ИИ-сообщество.

Пока основной состав писал код, Шевченко был единственным, кто работал с паяльником — в определенный момент ему даже пришлось выйти, чтобы напечатать на 3D-принтере корпус для Open Glass.

Усилия через день увенчались успехом — команда с гордостью представила коллегам дешевые солнцезащитные очки с выступающим справа черным блоком. Прибор оснащен камерой, делающей снимки раз в 5 секунд, и микрофоном для записи и расшифровки аудио.

Система как бы создает базу фото и текста, отражающих все, что видит и слышит пользователь. Нажатие кнопки активировало чат-бот Llama 3 от Meta, который описывал окружающий мир, основываясь на накопленных данных.

«Как звали того человека?», «Где я оставил ключи?», «Сколько калорий в этих фруктах?» — разработчики задавали ИИ самые разнообразные вопросы, чтобы продемонстрировать качество гаджета. По словам ребят, эта технология обладает широким спектром полезных применений, особенно для людей с нарушениями зрения и слуха. Многим она позволит получать информацию об окружающей среде, которую сложно воспринимать напрямую.

Несмотря на проблемы с распознаванием речи на презентации, проект команды Шевченко взял первое место получив одобрение критиков от Meta*, Groq и Hugging Face, включая CEO последней — Клема Делана.

Уже через несколько часов предприимчивый Шевченко открыл предзаказ на версию прототипа. И произошло нечто удивительное — менее чем за сутки желание заказать Open Glass изъявили свыше 1300 человек по всему миру.

«Ничего себе, уже 1300 заказов! — с изумлением сообщил на следующий день Коршаков. — Люди по всему миру хотят создавать нечто подобное. Теперь у них есть возможность поучаствовать в развитии проекта».

В отличие от существующих коммерческих аналогов вроде Ray-Ban от Meta, Open Glass базируются на открытом коде и доступны по сверхнизкой цене. Разработчики сами смогут выбирать языковые модели и функции.

Обязательного требования снимать фото и записывать аудио нет — создатели определят функционал самостоятельно. Open Glass предлагают бюджетную «модную» альтернативу дорогим брендовым решениям с ограниченными возможностями.

«Их можно интегрировать с OpenAI, Gemini и другими моделями, — поясняет Раманан. — Главный плюс в том, что мы можем комбинировать лучшие опции и создавать собственные интересные приложения и программные оболочки».

* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.