Суперкомпьютеры Яндекса: как устроены Червоненкис, Галушкин и Ляпунов

516
Суперкомпьютеры Яндекса: как устроены Червоненкис, Галушкин и Ляпунов

У «Яндекса» публично известны три суперкомпьютера для машинного обучения. «Червоненкис», «Галушкин» и «Ляпунов» объединяют 472 вычислительных узла и 3776 ускорителей NVIDIA A100. В момент выхода в мировой рейтинг машины были очень серьёзными. «Червоненкис» в ноябре 2021 года занял 19-е место в TOP500, «Галушкин» 36-е, «Ляпунов» 40-е.

Суперкомпьютеры Яндекса:

Сейчас картина сложнее. В последней доступной редакции TOP500 за июнь 2026 года системы опустились соответственно на 101-е, 134-е и 161-е места, хотя их измеренная производительность не изменилась. Ещё важнее события октября. Дата-центры в Сасово и Владимире, где «Яндекс» первоначально разместил все три машины, полностью остановили работу после атак беспилотников. Публичных подтверждений уничтожения самих суперкомпьютеров нет, поэтому заголовки о «потере всех суперкомпьютеров Яндекса» пока забегают вперёд.

Дальше я использую только опубликованные характеристики вычислительных систем и общедоступные сведения об инфраструктуре. По сообщениям об октябрьских инцидентах нельзя делать вывод о физическом состоянии конкретных серверных стоек, пока «Яндекс» не раскроет результаты обследования оборудования.

Три машины, 3776 ускорителей и 50 петафлопс

«Ляпунов» запустили первым, в декабре 2020 года. «Червоненкис» и «Галушкин» ввели в эксплуатацию в июне 2021-го. Все три системы построены вокруг NVIDIA A100 и процессоров AMD EPYC, но конфигурации различаются. Актуальные паспортные данные можно сверить с базой TOP500.

Система Узлы Ускорители CPU ОЗУ Rmax Rpeak TOP500, июнь 2026
Червоненкис 199 1592 × NVIDIA A100 80 ГБ AMD EPYC 7702 199 ТБ 21,53 Пфлопс 29,42 Пфлопс 101
Галушкин 136 1088 × NVIDIA A100 80 ГБ AMD EPYC 7702 136 ТБ 16,02 Пфлопс 20,64 Пфлопс 134
Ляпунов 137 1096 × NVIDIA A100 40 ГБ AMD EPYC 7662 68,5 ТБ 12,81 Пфлопс 20,03 Пфлопс 161

Здесь легко попасть в ловушку терминов. 21,53 петафлопса у «Червоненкиса» не являются его «максимальной мощностью вообще». Показатель Rmax представляет реально полученный результат теста High Performance Linpack в вычислениях двойной точности. Теоретический Rpeak составляет 29,42 петафлопса. Для обучения нейросетей картина будет другой, поскольку GPU активно работают с более низкой точностью и тензорными операциями.

Складывать результаты трёх машин тоже нужно осторожно. Арифметически получается 50,36 петафлопса Rmax, но единого суперкомпьютера на 50,36 петафлопса у «Яндекса» нет. Системы создавались как самостоятельные кластеры и размещались на разных площадках.

Почему суперкомпьютер не сводится к куче видеокарт

Во всех трёх системах приходится по восемь A100 на вычислительный узел. Внутри серверов архитектура NVIDIA HGX A100 использует скоростное соединение GPU, а между узлами работает InfiniBand HDR. Именно сеть превращает сотни отдельных серверов в пригодный для машинного обучения кластер.

При обучении большой модели каждый GPU считает только часть общей задачи. Затем ускорителям приходится постоянно обмениваться градиентами, параметрами и промежуточными результатами. Если связь между серверами не успевает за GPU, дорогие ускорители начинают ждать сеть. «Яндекс» поэтому оптимизировал собственные узлы «Червоненкиса» и «Галушкина» под свои задачи вместо простого копирования готовой серверной схемы NVIDIA.

Над железом работает ещё один важный слой, YTsaurus. Платформа распределяет вычислительные задания, управляет ресурсами CPU, памяти и GPU, хранит большие наборы данных и позволяет запускать распределённые операции. Поэтому суперкомпьютер для инженера выглядит не как 1592 отдельных A100, которыми приходится командовать вручную, а как общий пул вычислительных ресурсов.

Хороший пример реальной нагрузки появился ещё до YandexGPT. Модель YaLM 100B со 100 млрд параметров обучалась около 65 дней на кластере из 800 A100. Одного такого эксперимента достаточно, чтобы понять масштаб задачи. Даже сотни ускорителей могут быть заняты одной моделью месяцами. При этом «Яндекс» публично не раскрыл точную карту, какая версия YandexGPT обучалась на каком из трёх именных суперкомпьютеров, поэтому приписывать конкретную модель конкретной машине я бы не стал.

Почему падение в TOP500 не означает, что компьютеры стали бесполезными

TOP500 измеряет весьма специфическую нагрузку. Linpack заставляет систему решать огромную плотную систему линейных уравнений. Тест удобен для сравнения суперкомпьютеров, но сам проект TOP500 прямо предупреждает, что результат не описывает производительность во всех реальных приложениях.

Разрыв с мировыми лидерами при этом вырос радикально. В 2021 году 21,53 петафлопса хватало «Червоненкису» для 19-го места. Лидер июньского TOP500 2026 года LineShine показал 2,198 экзафлопса, примерно в 102 раза больше по тому же HPL-тесту. Поэтому старое определение «один из самых мощных суперкомпьютеров мира» сегодня уже вводит читателя в заблуждение.

Но и списывать A100 в утиль рано. Для машинного обучения важны не только поколение ускорителя и число петафлопс. Значение имеют объём памяти, скорость обмена между GPU, программные библиотеки, распределение модели между узлами и загрузка оборудования. Сотни или тысячи хорошо связанных A100 всё ещё представляют огромный вычислительный ресурс. Просто передний край индустрии за пять лет переместился заметно дальше.

Есть ещё один нюанс. TOP500 показывает три публично зарегистрированные системы «Яндекса», но не полный инвентарный список GPU компании. Из рейтинга нельзя сделать вывод, что 3776 A100 составляют всю современную инфраструктуру «Яндекса» для ИИ. Компания развивает вычислительные мощности и после 2021 года, но новых именных систем сопоставимого уровня в TOP500 публично не регистрировала.

Что произошло с суперкомпьютерами после ударов по дата-центрам

Исторически «Червоненкис» и «Ляпунов» находились в Сасово Рязанской области, а «Галушкин» во Владимире. Именно две площадки оказались в центре октябрьских событий.

8 октября дата-центр в Сасово полностью остановился после атаки беспилотников и пожара. «Яндекс» не смог подтвердить возможность восстановления находившегося внутри оборудования. 11 октября прекратил работу и владимирский ЦОД, после чего проблемы затронули зону доступности ru-central1-a и множество сервисов. Последствия третьего удара оказались достаточно серьёзными, чтобы Yandex Cloud перешла к аварийному режиму работы.

Отсюда возник соблазн сделать красивый вывод, что за четыре дня «Яндекс потерял все три суперкомпьютера». Доказательств пока недостаточно. Публично известно расположение систем, которое компания раскрыла в 2021 году, и известно, что обе площадки остановлены. Неизвестно другое. Сохранялась ли к октябрю 2026 года исходная схема размещения без изменений, какие именно машинные залы получили повреждения и пострадали ли стойки с A100.

Даже физически целый кластер после серьёзной аварии ЦОДа может оказаться бесполезным на длительное время. Суперкомпьютеру нужны электропитание, охлаждение, InfiniBand, внешние сети и хранилища. Несколько тысяч исправных GPU без этой инфраструктуры представляют очень дорогие металлические шкафы.

Что в итоге представляют собой суперкомпьютеры Яндекса

Я воспринимаю «Червоненкис», «Галушкин» и «Ляпунов» прежде всего как инфраструктуру эпохи первого большого рывка «Яндекса» в крупномасштабное машинное обучение. Компания собрала почти 3800 A100, построила быстрый межсерверный обмен, разработала собственные вычислительные узлы и связала железо с программной платформой для распределённых задач. Такой комплекс гораздо интереснее простой таблицы с петафлопсами.

Главная ошибка сегодня состоит в двух крайностях. Первая называть машины едва ли не мировым технологическим пиком на основании рейтинга пятилетней давности. Вторая объявлять A100 бесполезным старьём только потому, что «Червоненкис» опустился со строки 19 на строку 101. Обе оценки плохие. Системы заметно отстали от современных лидеров TOP500, но всё ещё обладают серьёзным потенциалом для машинного обучения.

После событий октября главный вопрос вообще перестал быть вопросом рейтинга. Пока «Яндекс» не раскроет состояние оборудования, корректнее считать судьбу трёх именных суперкомпьютеров неопределённой. Известно, какими мощными машины были и где их разместили. Насколько большая часть этой инфраструктуры доступна компании сейчас, публичных данных пока недостаточно.

Какой суперкомпьютер Яндекса самый мощный?

«Червоненкис». Его результат Rmax в Linpack составляет 21,53 петафлопса, теоретический Rpeak достигает 29,42 петафлопса. В июньском TOP500 2026 года машина занимала 101-е место.

Почему у Червоненкиса одновременно 21,53 и 29,42 петафлопса?

21,53 петафлопса представляет фактически достигнутую производительность Rmax в тесте Linpack. 29,42 петафлопса представляет расчётную пиковую производительность Rpeak.

Можно ли считать три суперкомпьютера одной системой на 50 петафлопс?

Нет. 50,36 петафлопса получаются простым сложением результатов Rmax трёх самостоятельных систем. Такой расчёт показывает общий масштаб, но не производительность одного вычислительного кластера.

Какая нейросеть точно обучалась на большом кластере NVIDIA A100 Яндекса?

Для YaLM 100B компания раскрыла конкретные параметры обучения. Модель обучали около 65 дней на 800 ускорителях A100. Для поколений YandexGPT публичной привязки каждой модели к конкретному именному суперкомпьютеру нет.

Зачем суперкомпьютеру InfiniBand?

При распределённом обучении сотни GPU постоянно обмениваются данными. Медленная сеть оставила бы ускорители без работы на часть времени. InfiniBand снижает задержки и даёт высокую пропускную способность между вычислительными узлами.

Уничтожены ли суперкомпьютеры Яндекса после атак на дата-центры?

Такого подтверждения нет. Сасовский и владимирский дата-центры полностью прекращали работу, но состояние конкретных стоек с суперкомпьютерами публично не раскрыто.

Яндекс суперкомпьютер Червоненкис Галушкин Ляпунов
Alt text
Обращаем внимание, что все материалы в этом блоге представляют личное мнение их авторов. Редакция SecurityLab.ru не несет ответственности за точность, полноту и достоверность опубликованных данных. Вся информация предоставлена «как есть» и может не соответствовать официальной позиции компании.
Конференция по кибербезопасности ZeroNights – show me ur hack Узнайте про техники взлома систем, наболевшие проблемы кибербезопасности и методы предотвращения угроз. 30 сентября, СПб — билеты уже в продаже! Купить билет Реклама. ООО «Кибер Сервис», ИНН 7725496205. 18+

Рекламодатель
Реклама. АО «Позитив Текнолоджиз». ИНН 7718668887. 18+
Сайт рекламодателя: ptsecurity.com↗
АО «Позитив Текнолоджиз»