NVIDIA Blackwell B200 – новый самый мощный чип в мире: характеристики и сравнения
22.03.24
Компания NVIDIA представила на конференции GTC 2024 новое поколение ИИ-ускорителей на графических процессорах с архитектурой Blackwell. Согласно заявлениям производителя, эти ускорители позволят создавать ещё более крупные нейронные сети, включая языковые модели с триллионами параметров, и при этом будут до 25 раз более энергоэффективными и экономичными по сравнению с предыдущим поколением Hopper.
Графический процессор NVIDIA B200 был заявлен компанией как самый мощный чип в мире. В вычислениях с плавающей запятой одинарной и двойной точности новый GPU обеспечивает производительность до 20 и 10 петафлопс соответственно. Он состоит из двух кристаллов, изготовленных по специальной версии 4-нм техпроцесса TSMC 4NP, и объединенных 2,5D-упаковкой CoWoS-L. Это первый GPU от Nvidia с чиплетной компоновкой. Кристаллы соединены шиной NV-HBI с пропускной способностью 10 Тбайт/с и работают как единый GPU. Общее количество транзисторов в новом продукте составляет 208 млрд.
По сторонам от кристаллов GPU расположились восемь стеков памяти HBM3E общим объёмом 192 ГБ. Её пропускная способность достигает 8 Тбайт/с. А для объединения нескольких ускорителей Blackwell в одной системе новый GPU получил поддержку интерфейса NVLink пятого поколения, которая обеспечивает пропускную способность до 1,8 Тбайт/с в обоих направлениях. С помощью данного интерфейса (коммутатор NVSwitch 7.2T) в одну связку можно объединить до 576 GPU.
Одними из главных источников более высокой производительности B200 стали новые тензорные ядра и второе поколение механизма Transformer Engine. Последний научился более тонко подбирать необходимую точность вычислений для тех или иных задач, что влияет и на скорость обучения и работы нейросетей, и на максимальный объём поддерживаемых LLM. Теперь Nvidia предлагает тренировку ИИ в формате FP8, а для запуска обученных нейросетей хватит и FP4. Но отметим, что Blackwell поддерживает работу с самыми разными форматами, включая FP4, FP6, FP8, INT8, BF16, FP16, TF32 и FP64. И во всех случаях кроме последнего есть поддержка разреженных вычислений.
Флагманским ускорителем на новой архитектуре станет NVIDIA Grace Blackwell Superchip, в котором сочетается пара графических процессоров B200 и центральный Arm-процессор NVIDIA Grace с 72 ядрами Neoverse V2. Данный ускоритель шириной в половину серверной стойки обладает TDP до 2,7 кВт. Производительность в операциях FP4 достигает 40 Пфлопс, тогда как в операциях FP8/FP6/INT8 новый GB200 способен обеспечить 10 Пфлопс.
Как отмечает сама NVIDIA, новинка Blackwell B200 обеспечивает 30-кратный прирост производительности по сравнению с NVIDIA H100 для рабочих нагрузок, связанных с большими языковыми моделями, а она до 25 раз более экономична и энергетически эффективна.
Первые устройства с NVIDIA B200
NVIDIA представила систему GB200 NVL72 — фактически это серверная стойка, которая объединяет в себе 36 Grace Blackwell Superchip и пару коммутаторов NVSwitch 7.2T.
Таким образом данная система включает в себя 72 графических процессора B200 Blackwell и 36 центральных процессоров Grace, соединенных NVLink пятого поколения. На систему приходится 13,5 ТБпамяти HBM3E с общей пропускной способностью до 576 Тбайт/с, а общий объём оперативной памяти достигает 30 Тбайт.
Платформа GB200 NVL72 работает как единый GPU с ИИ-производительностью 1,4 эксафлопс (FP4) и 720 Пфлопс (FP8). Эта система станет строительным блоком для новейшего суперкомпьютера Nvidia DGX SuperPOD.
Для создания наиболее масштабных ИИ-систем, включающих от 10 тыс. до 100 тыс. ускорителей GB200 в рамках одного дата-центра, компания Nvidia предлагает объединять их в кластеры с помощью сетевых интерфейсов Nvidia Quantum-X800 InfiniBand и Spectrum-X800 Ethernet.
Свои системы на базе NVIDIA B200 в скором времени представят многие производители, включая Aivres, ASRock Rack, ASUS, Eviden, Foxconn, Gigabyte, Inventec, Pegatron, QCT, Wistron, Wiwynn и ZT Systems.
Серверные системы
NVIDIA представила серверные системы HGX B100, HGX B200 и DGX B200. Все они предлагают по восемь ускорителей Blackwell, связанных между собой NVLink 5. Системы HGX B100 и HGX B200 не имеют собственного CPU, а между собой различаются только энергопотреблением и как следствие мощностью.
HGX B100 ограничен TDP в 700 Вт и обеспечивает производительность до 112 и 56 Пфлопс в операциях FP4 и FP8/FP6/INT8 соответственно. В свою очередь, HGX B200 имеет TDP в 1000 Вт и предлагает до 144 и 72 Пфлопс в операциях FP4 и FP8/FP6/INT8 соответственно.
Наконец, DGX B200 копирует HGX B200 в плане производительности, но является полностью готовой системой с парой центральных процессоров Intel Xeon Emerald Rapids. По словам NVIDIA, DGX B200 до 15 раз быстрее в задачах запуска уже обученных «триллионных» моделей по сравнению с предшественником.
Не пропустите интересное!
Підписывайтесь на наши каналы и читайте анонсы хай-тек новостей, тестов и обзоров в удобном формате!
Обзор TWS-наушников Oppo Enco Air4: новее
У компании Oppo вырисовывается довольно разнообразное портфолио Bluetooth-наушников. Посмотрим, что предлагают доступные TWS-наушники Oppo Enco Air4
Игровой монитор LG UltraGear 32GS75QN-B разрешением 1440p имеет частоту 200 Гц LG монитор
LG представила игровой монитор UltraGear 32GS75QN-B, который отличается высокими характеристиками и доступностью на некоторых рынках.
Bang & Olufsen Beoplay Eleven — беспроводные наушники со съемным аккумулятором аккумулятор наушники
Компания Bang & Olufsen представила новые беспроводные наушники Beoplay Eleven, которые стали первыми в линейке с возможностью замены батарей, что отвечает будущим требованиям ЕС по устойчивому развитию