Представлен новый суперкомпьютер с 13,5 млн. ядер

Компания Cerebras представила суперкомпьютер Andromeda с 13,5 млн. ядер, который состоит из 16-ти систем CS-2 суперкомпьютера Frontier — самого мощного в мире суперкомпьютера, преодолевшего барьер экзафлопсности. Однако, Andromeda не может выполнять широкий спектр высокопроизводительных вычислений, которые возможны на суперкомпьютере Frontier, достигшим пиковой производительности в 1,1 экзафлопс.

Представленная сегодня на мероприятии Supercomputing 2022 (SC22) система Andromeda состоит из 16 систем CS-2 с чипом WSE-2 (крупнейший в мире однокристальный процессор), соединенных в один кластер межсетевой матрицей SwarmX.

Каждый чип WSE-2 обеспечивает до 12,1 ТБ/с внутренней пропускной способности (96,8 терабит) для ИИ-ядер. Данные передаются на процессоры CS-2 через сеть 100 GbE, распределенную по 124 серверным узлам в 16 стойках. В общей сложности эти серверы оснащены 284 процессорами EPYC Milan третьего поколения с 64 ядрами каждый, всего 18 176 ядер.

Энергопотребление всей системы составляет 500 кВт, что гораздо меньше, чем у суперкомпьютеров с GPU-ускорением.

Andromeda достигает до 1 эксафлопс вычислительной мощности ИИ или 120 петафлопс 16-битной половинной точности (FP16). В общей сложности Andromeda имеет 13,5 млн. ядер. Для сравнения, у Frontier - более 8,7 млн. процессорных и графических ядер AMD. Стоит отметить, что чип WSE-2 с 850 000 ядер поддерживает только форматы FP16 и FP32. Это означает, что он не сможет работать с массивными 64-битными форматами с двойной точностью (FP64).

Andromeda обеспечивает 15,87-кратную пропускную способность, что значительно сокращает время обучения ИИ. По словам Cerebras, Andromeda также поддерживает модели с триллионами параметров, поскольку технология MemoryX в сочетании с матрицей SwarmX позволяет модели работать в кластерах до 192 систем CS-2. Более того, Andromeda достиг почти идеального линейного масштабирования при работе с моделями мультиязычного класса GPT – GPT-3, GPT-3XL, GPT-J и GPT-NeoX.

Генеральный директор Cerebras Эндрю Фельдман заявил, что Frontier — более мощная машина для более широкого круга приложений. «Для традиционной суперкомпьютерной работы, больших симуляций, анализа траекторий — это лучшая машина. Наши ядра меньше, они не имеют 64-битной двойной точности, но они оптимизированы для ИИ. В системах искусственного интеллекта они не имеют себе равных»