Blackwell B200: NVIDIA представила самый мощный в мире ИИ-чип в 720 петафлопс

Компания Nvidia представила графический процессор Blackwell B200 и суперчип GB200, которые могут кардинально изменить индустрию в области вычислений ИИ.

Новый чип Blackwell B200 с 208 млрд. транзисторов обещает производительность до 20 петафлопс на FP4. Ещё более впечатляет объединение двух таких графических процессоров (GPU) с одним процессором Grace в суперчипе GB200, способном в 30 раз увеличить производительность для задач вывода больших языковых моделей (LLM), при этом существенно сократив расходы и потребление энергии до 25 раз по сравнению с предыдущими решениями Hopper H100.

Сравнение внешнего вида Blackwell B200 (слева) и предыдущего чипа H100 (справа). Графический процессор Blackwell B200, питающий ускорители B100, B200 и GB200, оснащен парой вычислительных кристаллов с ограниченной сеткой, которые обмениваются данными друг с другом через соединение NVLink-HBI со скоростью 10 ТБ/с

Одним из ключевых новшеств стало внедрение второго поколения трансформерного двигателя, удваивающего вычислительные мощности, пропускную способность и размер модели за счет использования 4 бит на нейрон вместо 8. Также значительные улучшения достигнуты благодаря новой версии коммутатора NVLink, позволяющего 576 GPU обмениваться данными со скоростью 1,8 терабайт/с.

Особое внимание уделено масштабируемости: Nvidia анонсировала решение GB200 NVL72, интегрирующее 36 процессоров и 72 GPU в одну жидкостно-охлаждаемую стойку, обеспечивая общую производительность в 720 петафлопс для обучения ИИ или 1,4 эксафлопса для вывода, с поддержкой моделей на 27 трлн. параметров.

Grace-Blackwell (GB200) сочетает в себе 72-ядерный Arm процессор с парой графических процессоров мощностью 1200 Вт

Nvidia акцентирует внимание на привлекательности своих решений для крупных компаний, упоминая, что Amazon, Google, Microsoft и Oracle планируют предложить стойки GB200 NVL72 в рамках услуг облачных сервисов.

Nvidia заявляет, что ее системы могут масштабироваться до десятков тысяч суперчипов GB200, соединенных между собой сетью 800 Гбит/с помощью нового Quantum-X800 InfiniBand (до 144 подключений) или Spectrum-X800 Ethernet (до 64 подключений). Суммарная мощность может составлять 11,5 эксафлопс FP4.

Стойки GB200 NVL72

Объявление Nvidia не затрагивает новинки в сфере игровых графических процессоров, но подчеркивает акцент компании на вычислениях и ИИ, предвещая при этом возможное появление новой линейки видеокарт RTX 50-й серии, основанных на архитектуре Blackwell. Nvidia также сообщила, что поставки GB200, вместе с B100 и B200, начнутся во второй половине 2024 года, но пока неясно в каком объеме.