Обзор RAID-контроллера Broadcom MegaRAID 9670W-16i

Серия MegaRAID 9600 представляет третье поколение адаптеров для накопителей и поддерживает диски SATA, SAS и NVMe. Эти карты разработаны для обеспечения наиболее полной реализации производительности накопителей и максимально быстрого доступа к данным в СХД. По сравнению с предыдущим поколением серия 9600 предлагает двукратное увеличение пропускной способности, более чем 4-кратное повышение скоростей IOPS, 25-кратное снижение задержки записи и 60-кратное повышение производительности в ходе восстановления RAID-массивов. Как обычно, семейство карт 9600 включает в себя несколько конфигураций. В этой статье мы рассмотрим RAID-карту Broadcom MegaRAID 9670W-16i с 16 внутренними портами.

Карта MegaRAID 9670W-16i базируется на схеме RAID-on-Chip (RoC) SAS4116W, и это является ключевым фактором повышения производительности во всех аспектах. Пользователь может подключить к одному контроллеру с интерфейсом PCIe Gen 4.0 x16 до 240 устройств SAS/SATA или до 32 устройств NVMe.

Серия 9600 также предлагает аппаратную поддержку Secure Boot и аттестации SPDM, а также баланс защиты и производительности для массивов RAID 0, 1, 5, 6, 10, 50 и 60 и JBOD. Кроме того, доступна опция защиты кэш-памяти контроллера CacheVault.

Зачем нужен аппаратный RAID для NVMe?

Аппаратный RAID был стандартным решением для хранения данных с резервированием в те времена, когда сегодняшние IT-администраторы еще не начали седеть. Но, так как диски стали значительно быстрее, особенно NVMe SSD, RAID-карты с трудом успевали за этими скоростями. Поэтому, получив от Broadcom карту MegaRAID 9670W-16i для обзора, мы слегка засомневались. Дело в том, что использование RAID-карты подразумевает издержки в части производительности, и поэтому мы уже много лет избегаем их использовать. Вместе с тем, преимущества аппаратного RAID тоже неоспоримы.

В средах, которые не предлагают программных опций RAID, а к ним относится VMware ESXi, пользователи не могут просто взять и объединить диски в массив и организовать защиту данных через RAID. Хотя на уровне кластеров легко применить vSAN, этот вариант не может быть использован на автономном граничном узле ESXi. И здесь пользователи могут захотеть воспользоваться преимуществами, которые дает объединение нескольких SSD в RAID с целью увеличения емкости хранилища и/или повышения надежности хранения данных.

Даже в Windows, которая предлагает Storage Spaces для отдельных серверов, некоторые типы программных RAID, такие как RAID 5/6, требуют значительных затрат. Раньше аппаратный RAID был эффективным способом реализации потенциала устройств SAS и SATA, сегодня карта MegaRAID 9670W претендует на то же самое для устройств NVMe.

Тестовая система для Broadcom MegaRAID 9670W-16i

Тестовую конфигурацию для этого обзора мы собрали, используя оборудование от Micron, Supermicro и Broadcom. Сервер Supermicro AS-1114S-WN10RT 1U оснащен процессором AMD Milan 7643 и 128 ГБ памяти DDR4. В систему установлена карта 9670W-16i, к которой подключены два 8-отсековых модуля расширения NVMe JBOD. В каждом из них установлено по восемь SSD Micron 7450 емкостью 6.4 ТБ.

Для оценки производительности SSD, подключенных через адаптер MegaRAID 9670W-16i, мы протестировали следующие конфигурации дисков: JBOD, где каждый диск работает как отдельный накопитель, вне RAID (хотя и подключен через HBA), и массивы RAID 10 и RAID 5. Тестирование этих конфигураций включало в себя следующие процедуры: подготовка флеш-памяти (preconditioning), прогон тестов, для которых диски были подготовлены, подготовка к следующему блоку тестов и прогон этих тестов. Весь процесс в общей сложности занял около 16 часов:

• подготовка к нагрузкам с последовательным доступом ~2:15;
• тесты с последовательным доступом на конфигурациях JBOD (16x), 2x 8 RAID10, 2x 8 RAID5 ~2 часа;
• подготовка к нагрузкам со случайным доступом (2 части) ~4:30;
• тесты со случайным доступом на конфигурациях JBOD (16x), 2x 8 RAID10, 2x 8 RAID5 в нормальном режиме ~3 часа;
• тесты со случайным доступом в режиме восстановления 16 RAID10 с одним отказом, 16 RAID5 с одним отказом ~2:30;
• измерение задержки случайной записи на конфигурации 16 RAID5 в нормальном режиме и в режиме восстановления с одним отказом ~1:40.

В первом блоке тестов мы измеряем пропускную способность дисков, подключенных через RAID-контроллер в конфигурациях JBOD, RAID10 и RAID5. Карта MegaRAID 9670W-16i со слотом PCIe Gen4 x16 должна обеспечивать максимальную производительность в одном направлении около 28 ГБ/с, что соответствует теоретической пропускной способности слота Gen4 x16. Для сравнения, U.2 SSD Gen4 с интерфейсом x4 может обеспечить максимум 7 ГБ/с, и это соответствует максимальным скоростям чтения большинства дисков корпоративного класса.

В результате, карта MegaRAID 9670W полностью использует пропускную способность слота. В части скорости чтения конфигурация JBOD обеспечивает 28.3 ГБ/с, RAID10 и RAID5 оказываются чуть медленнее, обеспечивая около 28 ГБ/с. Что касается скорости записи, JBOD показывает базисный уровень 26.7 ГБ/с, конфигурация RAID10 обеспечивает 10.1 ГБ/с, RAID5 – 13.2 ГБ/с. Под смешанной одновременной нагрузкой чтения/записи в соотношении 50:50 конфигурация JBOD обеспечивает скорость 41.6 ГБ/с, RAID10 – 19.6 ГБ/с, RAID5 – 25.8 ГБ/с.

Переходя к сценариям со случайной передачей данных небольшими блоками (4 КБ), мы видим, что карта MegaRAID 9670W в режиме RAID в целом удерживает уровень скорости случайного чтения JBOD – около 7 млн IOPS. Эта скорость падает примерно вдвое (до 3.2 млн IOPS) во время процесса восстановления RAID-массива в случае отказа и замены одного из SSD. Что касается случайной записи, базисная скорость JBOD составила 6.3 млн IOPS против 2.2 млн на RAID10 и 1 млн IOPS на RAID5. И эти показатели не снижаются значительно при отказе одного SSD в RAID, когда после его замены карта выполняет процедуру восстановления. В этом случае скорость RAID10 не изменяется, хотя скорость RAID5 падает с 1 млн до 788 тыс. IOPS.

В типовом сценарии 4K OLTP (онлайн-обработка транзакций) со смешанной нагрузкой случайного чтения/записи JBOD предлагает базис скорости 7.8 млн IOPS против 5.6 млн IOPS на RAID10 и 2.8 млн IOPS на RAID5. Во время восстановления скорость RAID10 упала с 5.6 до 2.4 млн IOPS, а скорость RAID5 – с 2.8 до 1.8 млн IOPS.

Важный аспект производительности RAID – как изменяется скорость в режиме восстановления массива при отказе диска по сравнению с нормальным режимом. Если показатели производительности или задержки существенно ухудшаются, это может привести к проблемам с откликом приложений. Из этих соображений мы решили измерить задержку случайной записи 4K на RAID5 в нормальном режиме и в режиме восстановления. Во всем диапазоне скоростей задержка в целом остается примерно на одном уровне, и это именно тот результат, который мы хотим видеть в продуктивных средах СХД.

Мы измерили не только «мгновенные» характеристики производительности RAID-карты, в том числе в режиме восстановления массива, но и общее время восстановления. Массив RAID10 при отказе и замене 6.4-терабайтного SSD был восстановлен за 60.7 мин со скоростью восстановления 10.4 мин/ТБ. Массив RAID5 был восстановлен за 82.3 мин со скоростью 14.1 мин/ТБ.

Резюме

По правде сказать, приступая к этому обзору, мы были настроены слегка скептически. До сей поры мы не слышали, чтобы RAID-карты ставили в системы с NVMe SSD, за исключением новейшего класса графических серверов. Мы задавали себе фундаментальный вопрос: имеет ли практический смысл использование аппаратного RAID с NVMe SSD?

Ответ утвердительный. Производительность интерфейса PCIe Gen4 позволяет RAID-контроллеру MegaRAID 9670W-16i поддерживать скорость современных SSD в широком диапазоне нагрузок. Да, некоторые вещи, такие как пропускная способность, будут ограничиваться меньшим количеством линий PCIe, но для большинства продуктивных сред этот уровень не является определяющим.

Что касается максимума пропускной способности, мы видим, что в части чтения карта MegaRAID 9670W-16i точно укладывается в теоретический лимит PCIe Gen4 x16 – 28 ГБ/с, а в части записи предлагает до 13 ГБ/с на конфигурации RAID5. Максимальная скорость случайного чтения 4K составляет около 7 млн IOPS, тогда как скорость записи варьируется в диапазоне от 1 до 2.1 млн IOPS в зависимости от конфигурации массива RAID5 или RAID10. Для тех, кто развертывает системы с прицелом на объединение флеш-памяти в пулы большей емкости или системы, не поддерживающие программный RAID, карта MegaRAID 9670W станет практичным и выгодным решением.

Если вы любите серверы с NVMe, для вас есть различные предложения в этой категории. Например, сервер последнего поколения НИКС gS9800/pro2U предлагает конфигурацию на NVMe с ключем VROC. В комплект сервера входит до 12 NVMe SSD, все из которых можно объединить в RAID. Серверы НИКС с аппаратным RAID из NVMe также доступны для заказа. Сегодня на рынке появляется все больше примеров, которые подтверждают, что RAID-карты возвращаются в перечень актуальных продуктов для серверов с NVMe SSD, хотя во многих задачах уступают программным массивам из NVMe накопителей.