Подождите...Каталог
Сервер ASRock Rack 4U16X-GNR2 – это большая система NVIDIA HGX B300. Оснащенный двумя процессорами Intel Xeon 6 “Granite Rapids”, восемью видеокартами NVIDIA Blackwell Ultra, встроенным интерконнектом NVLink и другими компонентами, этот высококлассный графический сервер предназначен для обучения ИИ и инференса. Топология 8-GPU – очень популярная конфигурация, хорошо зарекомендовавшая себя в широком диапазоне нагрузок. ASRock Rack предлагает две версии этого сервера, обе с жидкостным охлаждением. В этом обзоре мы подробно рассмотрим традиционную версию DLC.
В начале года в Тайбэе (Тайвань) мы также видели версию этого сервера с двухфазным кулером ZutaCore. Двухфазное жидкостное охлаждение подойдет тем, кто не хочет связываться с обычными водяными контурами.
Сервер представляет собой сравнительно компактную сборку в корпусе 4U. Некоторые, возможно, думают, что четыре юнита – это большая система, но по сравнению с вариантами с воздушным охлаждением это крайне плотная сборка.
На фото ниже – наконечники шлангов водяного охлаждения. Синим помечены входы для холодной воды, красным – выходы для нагретой.
На передней панели системы располагаются 12 2.5-дюймовых дисковых отсеков U.2 NVMe. Два из них подключаются к CPU, остальные десять – к коммутирующей схеме PCIe.
Ниже – объединительная панель SSD.
Под накопителями располагается передняя панель портов I/O. Здесь мы видим четыре порта USB 3 Type-A, порт VGA и даже кнопку питания.
Далее идет одна из наших любимых фишек. ASRock помещает порт управления на передней панели системы, рядом с двумя низкоскоростными сетевыми портами 1GbE (на базе Intel i350). Если пользователь предпочитает заднее расположение этих портов, можно подключить задние порты к передним с помощью внутренних кабелей Ethernet.
Если вы хотите комбинированный вариант, например, порт управления спереди, а порты 1GbE сзади, вы можете вставить или снять эти кабели. Это простое решение позволяет приспособить одну модель сервера к различным условиям подключения кабелей в дата-центре.
Рядом с этими портами – входной и выходной разъемы для шлангов жидкостного охлаждения процессоров. Под ними – восемь портов OSFP 800 Гбит/с. Даже без подключения дополнительной карты PCIe система за счет одних только портов передней панели предлагает пропускную способность сети более 6.4 Тбит/с.
Переходя к задней панели, мы видим, куда подключаются вышеупомянутые внутренние сетевые кабели: два порта 1GbE слева и порт управления (вместе с еще двумя портами USB) справа.
Десять 3-киловаттных блоков питания 80Plus Titanium, также расположенные сзади, обеспечивают достаточное резервирование.
Внизу по обеим сторонам задней панели размещаются два больших вентилятора в выдвижных салазках, обеспечивающих возможность горячей замены.
Еще три вентилятора меньшего размера располагаются внизу по центру.
Вот два из них, вынутые из корпуса сервера.
Сняв все вентиляторы и блоки питания, мы видим пути для прохождения воздушного потока через систему.
Теперь давайте рассмотрим верхний отсек системы, где прописаны процессоры и память.
В верхнем отсеке сервера находится традиционная материнская плата с процессорами, памятью, интерфейсами накопителей и сетевыми картами. Многие из этих компонентов являются малопотребляющими и поэтому достаточно легко охлаждаются вентиляторами, в то время как от процессоров тепло отводится посредством жидкостного охлаждения.
Система оснащена двумя процессорами Intel Xeon 6700P, и, если вы хотите максимально сэкономить на ее стоимости, в принципе поддерживает процессоры серии Xeon 6500P.
Охлаждение процессоров обеспечивают не традиционные радиаторы, а холодные пластины, которые отводят тепло посредством циркулирующей через них жидкости и поэтому не требуют интенсивного обдува. Соответственно, кабели можно прокладывать поверх холодных пластин, не опасаясь преградить путь воздушному потоку в области процессоров.
Как вы сами можете видеть, холодные пластины имеют ленточные детекторы утечек, охватывающие шланги, так что, если в системе возникнет течь, она может быть быстро обнаружена, а система выключена.
Еще один важный аспект, касающийся использования процессоров серии Intel Xeon 6700P: здесь у ASRock Rack есть возможность установить 16 DIMM-модулей DDR5 на процессор, или в общей сложности 32 модуля DIMM. Это позволяет обеспечить большую емкость памяти, чем на платформе Xeon 6900P.
Модель материнской платы – GNR2D32G-2L+, которую мы уже видели раньше. Уникальность ее в том, что она разработана специально для этого типа развертывания. Вместо слотов PCIe сзади – коннекторы MCIO. Это позволяет ASRock Rack распределить линии PCIe внутри большой системы. Кабели для этих подключений проходят под центральной секцией вентиляторов.
За секцией вентиляторов находятся два полноразмерных по высоте слота PCIe Gen5 x16. Обычно они содержат сетевые линки «север-юг», чаще всего обеспечиваемые сетевыми картами NVIDIA ConnectX-7 или DPU NVIDIA BlueField-3.
Система с установленной в райзер картой NVIDIA ConnectX-7 – вид сверху:
Теперь давайте посмотрим на секцию GPU.
Нижнюю часть корпуса сервера занимает секция GPU. Она выдвигается из него посредством собственной рельсовой системы.
Сняв крышку, мы видим холодные пластины и подключения ConnectX-8 OSFP.
Секция GPU может быть полностью извлечена из сервера. Она довольно тяжелая, просто из-за тяжелых холодных пластин.
Это интересный вид. Холодные пластины нужны для охлаждения видеокарт, а также переключателей NVIDIA NVLink Switch и сетевых суперкарт NVIDIA ConnectX-8.
Холодные пластины закрыты защитными крышками с отверстиями под различный крепеж.
Они также имеют детекторы утечек вокруг ключевых соединений.
Вид, если заглянуть под крышки холодных пластин:
В задней части секции находятся коннекторы высокой плотности.
Здесь видно, к чему эти коннекторы в конечном счете подключаются:
Далее рассмотрим топологию системы.
Как вы сами можете себе представить, с учетом всех видеокарт, процессоров и сетевых карт схема топологии получается солидная.
Кроме того, мы нашли блок-схему материнской платы, на которой видно, как соединяются различные компоненты.
Конечно, звездными компонентами этого сервера являются видеокарты – NVIDIA Blackwell Ultra с потолком мощности 1.1 кВт – которых восемь штук.
Переходим к интерфейсу управления.
ASRock Rack предлагает стандартный интерфейс управления SP-X. Ниже – скриншот панели управления IPMI.
Это принятый в отрасли стандартный интерфейс управления, который мы видели много раз. Тем не менее, учитывая такую массу компонентов системы, даже просто возможность инвентаризации уже выглядит полезной.
Поскольку многие любят проверять память, вот вам инвентаризация DDR5:
Также есть различные датчики для контроля мощности и экран, показывающий общую картину энергопотребления и напряжений.
Вы также можете выполнять действия из меню Power Actions. У ASRock Rack есть отличная опция, которую предлагают не все производители – возможность перезагрузки с выходом в BIOS.
Для удаленного консольного доступа предусмотрена опция HTML5 iKVM, которая позволяет в том числе удаленно монтировать носители. За эту простую вещь некоторые производители дополнительно берут деньги.
Это, конечно, далеко не все, но, надеемся, дает некоторое представление об интерфейсе управления.
Переходим к производительности.
Начнем с основ производительности CPU, а именно – с задержки между ядрами Intel Xeon 6767P на одном сокете:
Поскольку у нас двухсокетная система, посмотрим на аналогичную картину для 128 ядер:
Задержка памяти на стороне CPU по результатам lmbench:
Проверив базовые показатели задержки, переходим к нашему агентному бенчмарку для CPU, AgentSTH.
Так как в наше время наибольшую актуальность приобретает производительность одного ядра, я решил оценить преимущество Intel Xeon 6767P в этом аспекте – относительно Ampere AmpereOne A192-32X.
Здесь достаточно четко видна разница между большими ядрами P и малопотребляющими ядрами платформы Ampere (последние работали на материнской плате ASRock Rack AMPONED8-2T BCM).
Вообще, Intel Xeon 6767P – популярный процессор, поскольку 64-ядерные чипы традиционно используются в этом классе серверов, обеспечивая высокую пропускную способность. И они достаточно хорошо масштабируют агентные нагрузки, хотя большинство предприятий все-таки будут запускать агентные песочницы не на графической ноде, а на другом сервере.
Тем не менее, мы все-таки запустили модель Kimi K2.5 (хотя сегодня могли бы использовать GLM 5.2 или более новую версию Kimi). И благодаря мощным пулам памяти HBM3e карт NVIDIA Blackwell Ultra, мы смогли запустить Kimi K2.5 всего на четырех GPU. Точнее, мы запустили vLLM на двух наборах карт B300 (4х + 4х) в одной и той же системе.
Это четко показывает преимущества более быстрой памяти. Здесь важно отметить, что на конфигурации 2x 4x GPU были запущены два инстанса K2.5, так что каждый инстанс работал в однопользовательском режиме. Практически, вы можете или раздвоить инстансы, как сделали мы, или запустить K2.5 и параллельно с ней другие модели.
Небольшое замечание: Kimi K2.5 работает быстрее при развертывании на SGLang, но мы использовали здесь хорошо знакомый движок vLLM.
Скажем пару слов об энергопотреблении.
Что касается мощности, сервер оснащен десятью 3-киловаттными блоками питания 80Plus Titanium и, соответственно, может работать в режиме резервирования БП по схеме 5+5.
Общее энергопотребление системы по сравнению с традиционными серверами можно назвать значительным – более 2 кВт в простое. Под нагрузкой мы намерили около 9 кВт, хотя, с учетом недавних результатов сервера HGX 8-GPU с воздушным охлаждением, могли бы ожидать более 10 кВт. Это объяснимо, поскольку здесь теплообмен осуществляется не на корпусных вентиляторах, а вне корпуса.
Давайте теперь отдельно посмотрим на версию этого сервера с кулером ZutaCore.
Мы уже писали про двухфазный жидкостный кулер ZutaCore. Вместо простого нагрева воды, как в обычных водоблоках СВО, в нем используется фазовый переход с испарением хладагента для более быстрого охлаждения самых высокотемпературных компонентов сервера.
При первом взгляде на решение ZutaCore обращают на себя внимание синие испарительные камеры. Также сразу заметны разные размеры трубок горячих и холодных линий. Это обусловлено фазовым переходом, происходящим в испарительных камерах охлаждающих пластин.
Посмотрев на секцию GPU, вы также можете заметить разницу в размерах входных и выходных шлангов, причем сами шланги отличаются от тех, что используются в версии DLC. Это еще один указатель на существенные различия в устройстве систем охлаждения.
Общий вид графической секции платформы с восемью видеокартами HGX B300 впечатляет.
На виде сверху еще лучше видна разница в размерах трубок разных фазовых линий.
Как вы сами можете видеть, разные компоненты – видеокарты NVIDIA Blackwell Ultra, сетевые карты и переключатели NVLink Switch – имеют свои собственные охлаждающие блоки.
В этом поколении отсеки модулей OSFP имеют кабельные подключения, и кабели проложены поверх секции GPU, но места для них достаточно.
Просто еще одно фото, показывающее особенности двухфазного жидкостного охлаждения:
Двухфазный кулер ZutaCore представляет собой альтернативное решение в плане охлаждения без воды, поскольку использует диэлектрические жидкие хладагенты, и будет особенно интересен тем, кто беспокоится (хотя часто необоснованно) по поводу постоянного присутствия воды в непосредственной близости от электронных компонентов дата-центра. По крайней мере, это что-то новое.
В 2018 году мы представили диаграмму STH Server Spider, которая показывает распределение потенциала сервера по различным аспектам. В этой системе основной акцент сделан на пропускной способности сетевых подключений и форм-факторе.
В целом, это графический сервер высокой плотности с высокой производительностью сетевых подключений, гарантирующих быструю коммуникацию графических ускорителей с другими GPU и всей платформы с СХД. Благодаря встроенному интерконнекту NVLink система такого типа фактически обладает большим потенциалом сетевых подключений, чем 4-5-юнитовые графические серверы с PCIe. В то же время эта платформа очевидно не относится к классу серверов хранения данных или вычислительных систем общего назначения с высокой плотностью ядер CPU.
В общем, это классный сервер. Он вмещает солидную графическую платформу NVIDIA HGX B300 8-GPU с двумя процессорами Intel Xeon 6 и 32 DIMM-модулями памяти. Помимо встроенных низкоскоростных сетевых карт и задних сетевых карт PCIe «север-юг», система предлагает восемь сетевых карт 800 Гбит/с, не оставляя никаких сомнений в том, что это большой сервер ИИ. Кроме того, интересно было сопоставить версии сервера DLC и ZutaCore, поскольку сегодня многих интересуют альтернативные решения в области жидкостного охлаждения серверов.
К достоинствам сервера также стоит отнести одну из фирменных фишек ASRock Rack – возможность выбора переднего или заднего расположения порта управления и сетевых портов 1GbE с помощью внутренних кабелей Ethernet. Такие вещи всегда приятно видеть. Надеемся, вам тоже понравился этот большой серверный агрегат для ИИ.