Нейросеть с 2,8 трлн параметров удалось запустить на сервере без единой видеокарты. Вместо дорогих графических ускорителей энтузиаст использовал 40-ядерный процессор Intel Xeon и снятую с производства память Optane. Огромная модель Kimi K3 заработала, хотя скорость генерации оказалась меньше одного токена в секунду. Главной проблемой стал сильный нагрев модулей памяти, способный повредить расположенные рядом планки оперативной памяти.
Необычный эксперимент провёл пользователь Reddit под ником IndividualSurvival. Энтузиаст собрал сервер на базе процессора Intel Xeon Scalable третьего поколения с 40 ядрами и модулей Optane Persistent Memory 200 Series, известных под кодовым названием Barlow Pass. Подобная память позволяет хранить большие объёмы данных ближе к процессору, сочетая некоторые преимущества оперативной памяти и накопителей. При покупке подержанных модулей Optane можно существенно сэкономить по сравнению с аналогичным объёмом DRAM.
Для испытаний автор выбрал китайскую Kimi K3 компании Moonshot AI. Нейросеть содержит 2,8 трлн параметров и использует архитектуру Mixture of Experts, при которой для обработки каждого токена задействуется только часть модели. В случае Kimi K3 активируются около 104 млрд параметров. Подобный подход уменьшает вычислительную нагрузку, однако для хранения всех весов по-прежнему требуется огромный объём памяти.
Энтузиаст использовал программу llama.cpp и настроил Optane в режиме App Direct. В отличие от Memory Mode, где обычная оперативная память служит кешем, выбранный режим позволяет приложениям напрямую обращаться к постоянной памяти через специальную файловую систему. Модель загружалась с помощью механизма отображения файлов в память, а все вычисления выполнял центральный процессор без участия GPU.
Предварительные испытания показали скорость 0,85 токена в секунду при однобитном квантовании и 0,75 токена при трёхбитном. Квантование уменьшает объём памяти, необходимый для хранения весов нейросети, за счёт снижения точности представления чисел. Подобное сжатие помогает запускать крупные модели на оборудовании с ограниченными ресурсами, но может ухудшать качество ответов. Автор пока не проверял влияние выбранных вариантов квантования на точность Kimi K3.
Полученной производительности недостаточно для комфортного общения с нейросетью. Генерация тысячи токенов занимает примерно 20–22 минуты, поэтому выполнение больших задач может растягиваться на часы. При этом результаты пока предварительные: энтузиаст ещё не оптимизировал количество вычислительных потоков и распределение нагрузки между узлами памяти NUMA.
Самым серьёзным предупреждением автора стал нагрев Optane при продолжительной работе нейросети. Модель постоянно обращается к памяти, создавая высокую нагрузку на модули. Согласно документации Intel, максимальное энергопотребление Optane Persistent Memory 200 Series достигает 15 Вт на модуль. При температуре 83 °C предусмотрено ограничение производительности, а при 85 °C срабатывает защитное отключение.
Серверные системы рассчитаны на интенсивное охлаждение памяти направленным потоком воздуха. Для модулей второго поколения Intel указывает скорость воздушного потока от 2,4 до 2,7 м/с в зависимости от тепловой нагрузки. В обычном компьютерном корпусе обеспечить подобные условия значительно сложнее.
По предупреждению автора, нагретые модули Optane могут перегревать соседние планки DRAM и потенциально выводить их из строя. О фактическом повреждении памяти в эксперименте не сообщалось. Чтобы снизить риск, энтузиаст установил два вентилятора мощностью по 12 Вт и направил воздушный поток непосредственно на модули. Система стала заметно шумнее, зато температуру удалось удержать под контролем даже при длительной генерации текста.
Интерес к использованию Optane для больших нейросетей возник не впервые. В мае 2026 года другой энтузиаст запустил Kimi K2.5 с триллионом параметров на сервере с 768 ГБ Optane первого поколения. Система обеспечивала около четырёх токенов в секунду, но использовала видеокарту RTX 3060 для выполнения части вычислений. Новый эксперимент отличается более крупной моделью и полным отказом от графического ускорителя, поэтому напрямую сравнивать скорость двух сборок некорректно.
IndividualSurvival планирует добавить видеокарты, оптимизировать работу процессора и попробовать гибридную конфигурацию, в которой часть модели разместится в более быстрой DRAM. Эксперимент показывает потенциальные возможности снятой с производства памяти Optane для локального запуска огромных нейросетей. Однако низкая скорость генерации, высокие требования к охлаждению и отсутствие независимой проверки результатов пока не позволяют считать подобную конфигурацию полноценной альтернативой современным системам с графическими ускорителями.
