NVIDIA начала использовать в крупных ИИ-суперкомпьютерах сетевые коммутаторы, которые передают данные с помощью света и тратят на связь гораздо меньше электричества. Новая технология уже работает в вычислительном центре Lambda в канадском Квебеке, где объединяет более 10 тысяч графических ускорителей. Первые испытания показали, что время передачи данных между отдельными частями системы сократилось на 4–10%.
Современным нейросетям мало одного мощного процессора. Для обучения крупных моделей нужны тысячи графических ускорителей, которые непрерывно обмениваются огромными объёмами информации. Чем больше становится вычислительный центр, тем труднее поддерживать быструю связь между машинами. В какой-то момент процессоры начинают простаивать в ожидании данных, хотя могли бы продолжать вычисления.
Одна из причин кроется в медных соединениях. На небольших расстояниях медь прекрасно справляется с передачей электрических сигналов, но при росте скорости и длины проводников увеличиваются потери и помехи. Чтобы информация доходила без ошибок, приходится усиливать и восстанавливать сигнал. Дополнительные микросхемы потребляют электричество, выделяют тепло и усложняют оборудование.
NVIDIA решила сократить путь, который электрический сигнал проходит до превращения в свет. Обычные сетевые коммутаторы используют отдельные оптические модули, вставленные в разъёмы на передней панели. Внутри новых устройств маленькие фотонные микросхемы разместили непосредственно рядом с основным сетевым чипом. Вместо нескольких сантиметров электрический сигнал проходит считаные миллиметры, после чего преобразуется в свет и отправляется по оптоволокну.
Инженеры используют возможности кремниевой фотоники, позволяющей создавать миниатюрные оптические элементы с помощью технологий производства микросхем. В традиционной электронике информацию переносят электрические сигналы, а в оптической части системы ту же работу выполняют световые импульсы. Свет способен передавать большие потоки данных на значительные расстояния с малыми потерями и без электромагнитных помех, характерных для электрических соединений.
Разница особенно заметна в энергопотреблении. Один обычный оптический модуль может расходовать около 25 Вт, а в крупном коммутаторе нужны десятки подобных устройств. Значительную часть энергии забирают лазеры и электроника, которая восстанавливает искажённый электрический сигнал. Когда оптические компоненты находятся рядом с сетевой микросхемой, необходимость в дополнительных устройствах восстановления сигнала отпадает. По оценке NVIDIA, новая компоновка повышает энергоэффективность оптической передачи данных до пяти раз по сравнению с традиционными съёмными модулями.
Разработчики рассчитывают сократить и количество сбоев. В обычных коммутаторах оптические модули приходится периодически заменять, а многочисленные контакты, разъёмы и соединения создают дополнительные точки отказа. При обслуживании одного модуля техник может случайно задеть соседний. Для крупного ИИ-кластера даже кратковременный обрыв связи опасен: вычислительная задача способна остановиться сразу на тысячах ускорителей.
В новых коммутаторах оптические микросхемы находятся внутри корпуса рядом с сетевым чипом, а лазерные источники остаются съёмными. Например, устройства, которые использует Lambda, оснащены 18 заменяемыми источниками света и 144 портами со скоростью до 800 Гбит/с каждый. Система жидкостного охлаждения отводит тепло от электроники. Во время испытаний средняя по медиане температура оптических компонентов составила 36 °C против 51 °C у обычных съёмных модулей.
Lambda сравнила коммутаторы с традиционным оборудованием при одинаковой пропускной способности. На уровне серверных стоек задержка передачи данных уменьшилась на 3,8%, а при обмене между более крупными группами серверов выигрыш достиг 10,1%. NVIDIA также заявляет, что новая конструкция способна повысить надёжность оптических соединений до 15 раз. Последняя цифра отражает оценку производителя, а не независимо подтверждённую статистику многолетней эксплуатации.
NVIDIA развивает технологию сразу в двух семействах оборудования: Quantum-X Photonics и Spectrum-X Photonics. Первое предназначено для высокоскоростных вычислительных сетей InfiniBand, второе использует Ethernet. В наиболее мощных конфигурациях Spectrum-X Photonics общая пропускная способность достигает 400 Тбит/с. При этом NVIDIA не планирует полностью отказываться от меди: внутри серверов и на коротких расстояниях электрические соединения по-прежнему дешевле и удобнее.
Следующим шагом может стать перенос оптических каналов ещё ближе к вычислительным процессорам. Сейчас отдельные микросхемы внутри одного корпуса обмениваются данными по тончайшим металлическим дорожкам. По мере роста количества вычислительных элементов дорожки занимают всё больше места, а соседние сигналы начинают мешать друг другу. Световые соединения потенциально способны решить часть проблем, хотя до массового применения внутри процессоров ещё далеко.
NVIDIA уже вкладывает миллиарды долларов в развитие производства оптических компонентов. Компания инвестировала по $2 млрд в Coherent и Lumentum, выпускающие лазеры и другое оборудование для высокоскоростной связи. Интерес к фотонике проявляют и конкуренты, включая Broadcom, AMD и Intel. Для NVIDIA ставка имеет особое значение: производитель стремится контролировать не только вычислительные чипы, но и сети, от которых всё сильнее зависит производительность огромных ИИ-систем.
