Сотни тысяч GPU в единой сети. Microsoft запустила Fairwater — «суперфабрику для обучения ИИ» планетарного масштаба

Индустрия искусственного интеллекта требует всё больших вычислительных ресурсов, и крупные модели уже не помещаются в привычные облачные платформы. Поэтому Microsoft развивает инфраструктуру Fairwater — новый тип центров обработки данных, рассчитанный на обучение нейросетей масштабов, которые раньше были недоступны коммерческим системам. Компания запустила очередной узел этого комплекса в Атланте, связав его с первым Fairwater-объектом в Висконсине, ранними ИИ-суперкомпьютерами и глобальной сетью Azure. В совокупности эти элементы формируют распределённую инфраструктуру, которую компания описывает как суперфабрику ИИ планетарного уровня.

Идея Fairwater основана на максимально плотном размещении оборудования, задействованного в обучении моделей. Обычные облачные структуры строятся вокруг множества отдельных кластеров с разными функциями, которые связываются сложной многоуровневой сетью. Fairwater использует иной подход. Здесь сотни тысяч ускорителей NVIDIA объединяются единой плоской архитектурой, превращаясь в один вычислительный контур. Подобная схема стала возможной благодаря опыту, накопленному при создании предыдущих поколений ИИ-инфраструктуры и поддержке крупных обучающих задач, которые постоянно упирались в сетевые и аппаратные ограничения.

Современные модели больше не обучаются одним монолитным процессом. Работа делится на этапы: предварительную подготовку, дообучение под конкретную задачу, методы с подкреплением и генерацию искусственных данных. Чтобы гибко распределять такие нагрузки, Microsoft создала магистраль AI WAN — выделённую оптическую сеть, которая соединяет площадки Fairwater и позволяет переносить различные компоненты обучения туда, где они выполняются эффективнее. Это увеличивает полезную загрузку оборудования и ускоряет выполнение задач.

Одно из главных ограничений ИИ-кластеров — физические расстояния. Чем дальше расположены ускорители, тем выше задержки. При масштабах, измеряемых триллионами параметров, даже минимальные величины становятся существенными. Поэтому в Fairwater всё подчинено задаче сокращения дистанций между элементами. Начать пришлось с охлаждения: плотная компоновка невозможна без стабильного отвода тепла.

Для этого используется жидкостная система, в которой теплоноситель циркулирует по замкнутому контуру. Заправка проводится один раз, после чего состав обновляется только при изменении химических параметров. Срок эксплуатации жидкости рассчитан на более чем шесть лет. Объём первоначальной заливки сопоставим с годовыми затратами примерно двадцати домов, однако дальнейших потерь практически нет, поскольку испарение не используется. Такая схема делает инфраструктуру заметно экологичнее обычных водяных систем.

Высокая эффективность теплоотведения позволяет увеличивать плотность стоек. В Fairwater одна стойка рассчитана примерно на 140 кВт, а ряд — на 1 360 кВт. Нагретая жидкость, прошедшая через холодные пластины ускорителей, направляется в крупный чиллерный комплекс, поддерживающий стабильный режим работы даже под непрерывной ИИ-нагрузкой.

Не менее важной особенностью стала двухуровневая конструкция здания. Большинство ИИ-задач чувствительно к длине кабелей, а здесь каждый ускоритель связан с любым другим. Размещение стоек в трёхмерном объёме позволяет значительно сократить общую длину линий, что уменьшает задержки, повышает устойчивость сети и снижает стоимость обслуживания коммуникаций.

Энергоснабжение — отдельная инженерная задача. Площадку в Атланте выбирали с учётом устойчивости местной энергосистемы: она способна обеспечить около 99,99% доступности при затратах, характерных для уровней примерно 99,9%. Такой баланс даёт возможность отказаться от части традиционных средств резервирования, например локальных генераторов, крупных UPS и двойного ввода питания. Это ускоряет ввод объектов в эксплуатацию и снижает стоимость инфраструктуры без ущерба для надёжности.

Однако нагрузки, создаваемые нейросетями, приводят к новым вызовам: резкие изменения потребления могут вызывать колебания в энергосистеме региона. Чтобы компенсировать такие эффекты, Microsoft использует несколько механизмов. На программном уровне запускаются вспомогательные процессы в периоды спада активности, сглаживая профиль потребления. На аппаратной стороне ускорители способны самостоятельно ограничивать собственный энергопрофиль. Дополняют эту схему локальные накопители, которые нивелируют пики без задействования внешних источников.

Вычислительная часть Fairwater строится на ускорителях NVIDIA Blackwell и специализированных серверах. Один комплекс объединяет эти GPU в кластер, масштабируемый за пределы стандартных сетевых архитектур, благодаря нетривиальным подходам к увеличению пропускной способности и организации взаимодействия. Внутри стойки до 72 ускорителей связаны через NVLink, обеспечивающий минимальные задержки и высокий объём обмена данными. Такая стойка поддерживает до 1,8 ТБ/с трафика между GPU и предоставляет каждому ускорителю доступ к более чем 14 ТБ общей памяти.

Затем стойки объединяются в укрупнённые модули — поды — а далее в единый контур суперкомпьютерного уровня. Для этого используется двухуровневая backend-сеть на Ethernet, обеспечивающая до 800 Гбит/с между ускорителями. Использование открытой экосистемы Ethernet и ОС SONiC позволяет применять массовое оборудование без привязки к специализированным решениям.

Чтобы справляться с перегрузками, Microsoft оптимизировала механизмы обработки пакетов, добавила маршрутизацию с распылением трафика и внедрила высокочастотную телеметрию. Эти средства предотвращают заторы, ускоряют выявление потерь и повторную передачу данных, а также обеспечивают гибкое распределение нагрузки. Всё это поддерживает низкие задержки и стабильную работу под интенсивными ИИ-задачами.

Даже с такими нововведениями один объект не способен обслуживать модели с триллионами параметров, поэтому была построена оптическая магистраль AI WAN для объединения площадок в общую систему. За год Microsoft проложила более 120 тысяч миль волоконных линий по США. Эти каналы связывают несколько поколений суперкомпьютеров и позволяют работать с распределённой сетью как с единой логической машиной.

Главное отличие нового подхода — трафик больше не обязан идти по одному и тому же маршруту независимо от характера задачи. Теперь можно выбирать разные режимы обмена: локальные внутри площадки, протяжённые между объектами или смешанные. Это делает инфраструктуру гибче и улучшает использование ресурсов.

Новый узел Fairwater в Атланте показывает, как Microsoft перестраивает инфраструктуру под требования современных моделей. Здесь сочетаются высокая плотность вычислений, энергоэффективные технологии, продуманное охлаждение и масштабируемые сетевые схемы, рассчитанные на предельные нагрузки. Всё это создаёт основу для обучения крупных нейросетей, которые ещё недавно были доступны только научным центрам.