ИИ без интернета — как запустить мощную нейросеть прямо на своём ПК

На этой неделе OpenAI представила долгожданную открытую языковую модель под названием gpt-oss. Главное её преимущество — возможность запускать её локально на собственном компьютере, в том числе на Mac с процессорами Apple Silicon. Вот как это работает и чего стоит ожидать.

Модель доступна в двух вариантах: gpt-oss-20b и gpt-oss-120b. Первый вариант — это «средняя» по мощности модель, которую можно запустить на топовых Mac, если у них достаточно ресурсов. Вторая — «тяжёлая» модель, требующая куда более серьёзного железа. Ожидаемо, что меньшая версия будет чаще «галлюцинировать» — то есть придумывать факты, — ведь у неё и обучающий датасет поменьше. Зато она работает быстрее и реально запускается на домашних компьютерах.

Даже в своём упрощённом варианте gpt-oss — это интересный инструмент для всех, кто хочет попробовать запустить большую языковую модель прямо у себя на ноутбуке. Правда, нужно понимать, что в отличие от привычного ChatGPT, эта модель работает без подключения к интернету, и по умолчанию у неё нет многих «фишек» продвинутых чат-ботов. Например, она не проверяет ответы через поисковики, что заметно увеличивает риск ошибок.

Для запуска gpt-oss-20b OpenAI рекомендует минимум 16 ГБ оперативной памяти, но в реальности это скорее нижний предел, позволяющий просто посмотреть, как всё устроено. Неудивительно, что Apple недавно перестала продавать Mac с 8 ГБ RAM — ИИ всё чаще становится повседневной задачей для компьютеров.

Начать работу проще простого. Сначала нужно установить приложение Ollama — именно оно позволяет управлять моделью. Скачать его можно на сайте ollama.com/download . Затем открываем «Терминал» и вводим команды:

ollama pull gpt-oss:20b
  ollama run gpt-oss:20b

Модель займёт около 15 ГБ дискового пространства. После загрузки её можно выбрать в интерфейсе Ollama. При желании в настройках можно включить «авиарежим», чтобы гарантировать полностью локальную работу — никакого интернета и регистрации не требуется.

Дальше всё просто: вводите запрос и наблюдаете за результатом. Но помните, что модель использует все доступные ресурсы — и Mac может ощутимо притормозить. На MacBook Air с чипом M4 и 16 ГБ памяти, например, ответ на «hello» занял более пяти минут. Запрос «кто был 13-м президентом США» — около 43 минут. Так что если планируете всерьёз пользоваться моделью, 16 ГБ — это, мягко говоря, маловато.

Если модель больше не нужна, и вы хотите освободить место на диске, используйте команду:

ollama rm gpt-oss:20b

Дополнительную информацию можно найти на официальном сайте Ollama или попробовать альтернативное приложение для macOS — LM Studio.