Opera One: 150 чат-ботов в твоём рюкзаке – без интернета и сбора данных

Компания Opera Software внесла экспериментальные изменения в свой браузер Opera One, добавив возможность локального запуска крупных языковых моделей (LLM) в рамках программы AI Feature Drop. Пока что эта функция доступна исключительно в версии браузера для разработчиков, доступного только на настольных платформах.

Обновление добавляет в Opera One Developer 150 различных LLM из 50 семейств, включая популярные LLaMA, Gemma и Mixtral.

Ранее Opera предлагала в своём браузере только языковую модель Aria собственной разработки, используемую в качестве чат-бота наподобие Copilot от Microsoft и ChatGPT от OpenAI.

Ключевое отличие Aria от прочих языковых моделей заключается в том, что ей не нужен доступ в Интернет для работы. Теперь по такому же принципу будут работать ещё 150 языковых моделей. Доступ к Интернету для их работы не нужен за исключением первого запуска, а все обработанные через модель данные останутся на компьютере пользователя.

Компания также предложила потенциальный будущий вариант использования локальных LLM для обработки истории посещений пользователя и прочих данных, чтобы используемый в браузере чат-бот стал максимально персонализированным и знал о пользователе буквально всё для лучшего понимания контекста запросов. На этом моменте самое время надеть на голову шапочку из фольги.

«Это настолько передовая технология, что она может не работать», — шутливо отметили представители Opera в своём блоге. Вице-президент компании Ян Стандал подтвердил, что сборки для разработчиков часто экспериментальные и могут быть «немного сырыми».

Локальная работа больших языковых моделей, вероятно, будет значительно медленнее, чем использование их же, но онлайн, на серверах с мощными GPU от Nvidia. Однако более серьёзной проблемой, чем низкая производительность домашнего железа, может стать требуемое дисковое пространство: большинство моделей занимает от 2 до 10 ГБ памяти, а некоторые и вовсе могут достигать в объёме пугающих 70 ГБ.

Таким образом, если пользователь по какой-то причине захочет установить сразу все 150 моделей, даже накопителя на 1 терабайт может оказаться недостаточно.

Наибольшая ирония заключается в том, что именно интернет-браузер, предполагающий постоянное наличие сети для работы, стал единым вместилищем множества чат-ботов, которые не требуют подключения к Интернету. Хотя тут, опять же, акцент делается скорее на безопасности данных, чем на использование LLM в спартанских условиях.

Несмотря на возможные ограничения и временную недоступность функции для всех желающих, Opera One стал первым в мире браузером, предложившим решение для локального запуска LLM на ПК. Это определённо вызывает восторг и чёткое ощущение, что будущее уже здесь.