Статистика отказов жестких дисков за первый квартал 2022 года от Backblaze

Давным-давно, в незапамятные времена, компания Backblaze, с целью исследования надежности дисковых накопителей, начала собирать статистику отказов жестких дисков, используемых компанией для хранения клиентских данных. В первом квартале текущего года в Backblaze провели мониторинг 211732 жестких дисков и SSD, установленных в дата-центрах компании по всему миру. Из этих дисков 3860 использовались в качестве загрузочных, остальные 207872 – для размещения данных. Эти последние и послужили базой для настоящего отчета.

Содержание

1. “Великий учитель, отказы бывают.”
2. “Всегда делитесь полученными знаниями.” (Йода, “Возвращение джедая”)
3. “Мне нравятся первые. Хорошие или плохие, они всегда запоминаются.”
4. “…многие истины, за которые мы цепляемся, зависят от нашей точки зрения.”
5. “Сложно предвидеть; только движение показывает будущее.”
6. “Ваш фокус внимания определяет вашу реальность.”
7. “По моему опыту, такой штуки, как удача, не существует.”
8. “Вы видите мой крах в последний раз…”
9. “Я никогда не задаю этот вопрос, пока работа не будет сделана!”

В данной статье мы рассмотрим интенсивность отказов в этой группе жестких дисков, на конец 1-го квартала 2022 года находившейся в эксплуатации, в статистической связи с возрастом дисков на момент отказа. Кроме того, мы рассмотрим динамику интенсивности отказов дисков на протяжении более длительного периода эксплуатации. Мы поделимся с вами своими наблюдениями и выводами и, как всегда, ожидаем от вас того же в разделе комментариев.

“Великий учитель, отказы бывают.” (Йода, “Последние джедаи”)

По итогам мониторинга 207872 жестких дисков, проведенного Backblaze в 1-м квартале 2022 года, была собрана статистика отказов жестких дисков, используемых для хранения данных. При этом из рассмотрения было исключено 394 диска, из которых часть использовалась для тестирования, а остальные относились к малочисленным модельным выборкам, в которых количество эксплуатируемых экземпляров насчитывало менее 60 представителей конкретной модели. Таким образом, для статистического анализа у нас осталось в общей сложности 207478 рабочих образцов жестких дисков. Результаты статистического анализа отчетных данных за 1-й квартал 2022 года приведены в таблице ниже.

“Всегда делитесь полученными знаниями.” (Йода, “Возвращение джедая”)

В отчетной таблице за 1-й квартал 2022 года некоторые моменты заслуживают отдельного внимания.

• “В этом заключается Сила.” (Дарт Вейдер, “Новая надежда”). 6-терабайтные диски Seagate (модель ST6000DX000) продолжают игнорировать время с нулевой интенсивностью отказов (AFR), продемонстрированной по итогам 1-го квартала 2022 года, несмотря на почти 7-летний (83.7 месяца) средний возраст этих дисков. 98% этих дисков (859 шт.) было установлено в один и тот же двухнедельный период еще в 1-м квартале 2015 года. Возраст самого нового диска в этой 6-терабайтной выборке составляет чуть больше 4 лет. 4-терабайтные диски Toshiba (модель MD04ABA400V) в 1-м квартале 2022 года также продемонстрировали нулевую интенсивность отказов при почти таком же среднем возрасте (82.3 месяца), как у Seagate, но в выборке Toshiba только 97 дисков. Тем не менее, за все время эксплуатации этих дисков в Backblaze у них в среднем наблюдается всего один отказ в год.
• “Отлично, малыш, меньше самоуверенности.” (Хан Соло, “Новая надежда”). У нас были и диски-падаваны (в части среднего возраста), которые тоже продемонстрировали нулевую интенсивность отказов в 1-м квартале 2022 года. Две линейки 16-терабайтных дисков WDC (модели WUH721816ALEL0 и WUH721816ALEL4) возглавляют молодежное движение, представляя средний возраст 5.9 и 1.5 месяца соответственно. Общая выборка из этих двух моделей насчитывает 3799 рабочих экземпляров дисков, и с момента установки (полгода назад) у них был только один отказ. Хороший старт, но до уровня джедаев еще далеко.
• “Ваше недоверие меня беспокоит.” (Дарт Вейдер, “Новая надежда”). Вам мог броситься в глаза высокий по сравнению с другими – 24.31% – показатель AFR у 8-терабайтных дисков HGST (модель HUH728080ALE604), полученный нами в 1-м квартале 2022 года. Это новые диски (средний возраст – 2 месяца), и в выборке всего 76 экземпляров с общей наработкой (Drive Days) 4504 диско-дня. Если этот показатель AFR вас смущает, то нас в свою очередь смущает ваше недоверие, с учетом блестящего послужного списка других наших дисков HGST. Давайте посмотрим, что будет через пару кварталов.
• “Не пытайтесь. Делайте или не делайте. Попыток нет.” (Йода, “Империя наносит ответный удар”). Продолжается сага 14-терабайтных дисков Seagate (модель ST14000NM0138). Когда мы последний раз наблюдали эти диски, команда специалистов Seagate/Dell/Backblaze усердно работала над вопросом – почему у этих дисков стабильно высокая интенсивность отказов. Странная проблема для этой модели, и наши сотрудники на протяжении нескольких последних месяцев решают ее с переменным успехом путем последовательных оптимизаций прошивки. Терпение, господа.

“Мне нравятся первые. Хорошие или плохие, они всегда запоминаются.” (Асока Тано, “Мандалорец”)

Мы публикуем квартальные и годовые статистические отчеты, характеризующие надежность дисковых накопителей, начиная с 1-го квартала 2015 года. При этом мы предлагаем вашему вниманию различные варианты представления данных, поскольку такой многосторонний взгляд помогает более глубоко оценить нашу рабочую среду и используемые в ней жесткие диски. Сегодня мы визуально сопоставим годовую интенсивность отказов (AFR) конкретных моделей дисков и средний возраст дисков в соответствующих модельных выборках, используя так называемый «квадрат статистики отказов».

“…многие истины, за которые мы цепляемся, зависят от нашей точки зрения.” (Оби-Ван Кеноби, “Возвращение джедая”)

Каждая точка, отмеченная в рамках квадрата статистики отказов, представляет конкретную модель жесткого диска, находящуюся в эксплуатации в наших дата-центрах на момент 31 марта 2022 года, и имеет координаты, соответствующие среднему возрасту эксплуатируемых дисков данной модели (по вертикали) и годовой интенсивности отказов дисков этой модели (по горизонтали). Здесь представлены только модели дисков с общей наработкой не менее 1 млн диско-дней или с доверительным интервалом не более 0.6%.

В этом большом квадрате можно выделить четыре равных квадранта, соответствующих следующим категориям дисков.

• Квадрант I: Отставники. Диски из этого квадранта хорошо работали в течение долгого времени, но на текущий момент имеют высокий показатель AFR, поэтому подлежат замене в первую очередь.
• Квадрант II: Победители. Диски из этого квадранта подтвердили свою высокую надежность длительной безотказной работой. С учетом их возраста, предполагается плановая, но не экстренная замена этих дисков.
• Квадрант III: Претенденты. Диски из этого квадранта стартовали хорошо, и в ближайшее время их замена не планируется. Мы продолжим мониторинг этих моделей, чтобы убедиться, что со временем они перейдут в квадрант победителей, а не скатятся в квадрант IV.
• Квадрант IV: Разгильдяи. Диски из этого квадранта по возможности следует заменить, но в принципе они могут работать и дальше, если их интенсивность отказов останется на текущем уровне. Предусмотренная в платформе Backblaze схема резервирования и обеспечения надежности защищает данные в условиях сравнительно высокой интенсивности отказов дисков этого квадранта. Однако продолжение эксплуатации этих дисков означает дополнительную нагрузку на дата-центры и повышает операционные расходы.

“Сложно предвидеть; только движение показывает будущее.” (Йода, “Империя наносит ответный удар”)

Очевидно, что попадание в квадрант победителей – наиболее предпочтительный исход для всех моделей дисков. Но фактически любой диск стартует в квадранте III или IV, откуда со временем перемещается в более высокую категорию. Графики на рисунке ниже показывают, как модели, финишировавшие в квадранте II (победители), туда попали.

“Ваш фокус внимания определяет вашу реальность.” (Квай-Гон Джинн, “Скрытая угроза”)

Путь каждой модели представляет змеевидный график, показывающий динамику AFR по мере увеличения среднего возраста модельной выборки. Интересно, что каждая из шести моделей, на текущий момент находящихся в квадранте II, имеет свою специфическую историю. Например, кто бы мог предположить, что 6-терабайтный диск Seagate (модель ST6000DX000) финиширует в квадранте победителей, учитывая его далеко не блестящий старт в 2015 году. И это не единственный такой диск; похожую историю имеют и 8-терабайтные диски Seagate (модели ST8000NM0055 и ST8000DM002).

Эти графики также наглядно показывают наиболее вероятное направление изменения годовой интенсивности отказов конкретных моделей дисков в ближайшее время. Например, с этой точки зрения интересно выглядит 10-терабайтная модель Seagate, которая через квартал-другой скорей всего окажется в квадранте отставников, то есть главных претендентов на замену.

“По моему опыту, такой штуки, как удача, не существует.” (Оби-Ван Кеноби, “Новая надежда”)

Приведенные в начале этой статьи результаты квартального отчета включают в себя некоторый элемент случайности. Например, с практической точки зрения разница небольшая – зарегистрирован отказ диска 31 марта в 23:59 или 1 апреля в 00:01 – но на результаты квартального отчета это повлияет. Квартальные результаты в определенной мере раскрывают тенденции в части возможных отказов дисков, находящихся в эксплуатации, но наиболее полную и точную информацию о вероятном поведении дисков той или иной модели дают отчеты о годовой интенсивности отказов за весь период эксплуатации текущего парка дисков.

В таблице ниже приведены показатели годовой интенсивности отказов всех эксплуатируемых моделей дисков, выпускаемых производителями на момент 31 марта 2022 года, за весь период их эксплуатации в наших дата-центрах.

“Вы видите мой крах в последний раз…” (Дарт Вейдер, “Империя наносит ответный удар”)

Средняя годовая интенсивность отказов для всего парка дисков из таблицы выше за указанный отчетный период (20 апреля 2013 – 31 марта 2022 гг.) составила 1.39%. Это меньше, чем было на конец 2021 года (1.40%). Ровно год назад (на момент 31 марта 2021 года), средний показатель AFR дисков за весь период эксплуатации составлял 1.49%.

В приведенной выше таблице интенсивностей отказов все модели с наработкой (Drive Days) менее 500000 диско-дней или с доверительным интервалом (Confidence Interval) более 1.0% не дают статистически точной картины в плане надежности этих дисков по причине недостаточного количества данных по этим моделям. Примеры таких дисков – 8-терабайтная модель HGST HUH728080ALE604 и 16-терабайтная модель Toshiba MG08ACA16TA. Мы включили их в таблицу просто для единообразия отчетности, поскольку они фигурируют в квартальной таблице, приведенной в начале статьи.

Итак, с учетом необходимых требований по наработке и доверительным интервалам, самыми надежными в нашем парке оказались следующие диски (от каждого из производителей):

• HGST – 12-терабайтная модель HUH721212ALE600 с AFR 0.33%;
• Seagate – 12-терабайтная модель ST12000NM001G с AFR 0.63%;
• WDC – 14-терабайтная модель WUH721414ALE6L4 с AFR 0.33%;
• Toshiba – 16-терабайтная модель MG08ACA16TEY с AFR 0.70%.

“Я никогда не задаю этот вопрос, пока работа не будет сделана!” (Хан Соло, “Пробуждение силы”)

Все исходные данные для этого отчета доступны на сайте Backblaze. Их можно бесплатно скачать и использовать в своих целях при соблюдении следующих трех условий: 1) при использовании этих данных в своих публикациях необходимо указать Backblaze в качестве источника; 2) используя эти данные, вы соглашаетесь с тем, что только вы несете ответственность за то, как и для чего вы их используете; 3) вы не можете продавать эти данные кому-либо – они бесплатные.