Технология Fibre Channel

Fibre Channel – это технология высокоскоростной передачи данных, используемая главным образом дата-центрами, компьютерными серверами, сетевыми коммутаторами и сетевыми хранилищами, которые оперируют скоростями до 128 Гбит/с. Эта технология была разработана с целью преодолеть ограничения интерфейсов SCSI (Small Computer System Interface) и HIPPI (High-Performance Parallel Interface) и обеспечить отрасль надежными и масштабируемыми протоколом и интерфейсом с высокой пропускной способностью и низкой задержкой.

Использование Fibre Channel особенно актуально при подключении серверов к подсистемам хранения данных с общим доступом, дискам и связующим контроллерам. Интерфейс Fibre Channel был создан для сетей хранения данных (Storage Area Network, SAN). Обеспечиваемая Fibre Channel дальность коммуникации может достигать 10 км, если физическое подключение осуществляется посредством оптоволоконного кабеля. Для коммуникаций меньшей дальности оптоволокно не требуется. Fibre Channel также работает на коаксиальных кабелях и обычных телефонных кабелях типа «витая пара». Однако при длине подключения более 30 м использовать медные кабели не рекомендуется.

Fibre Channel обеспечивает поочередную передачу данных без потерь в соединениях «точка-точка», петлевых и коммутируемых сетевых конфигурациях. Поскольку Fibre Channel во много раз быстрее SCSI, он заменил этот интерфейс в коммуникациях между серверами и кластеризованными устройствами хранения данных. Однако сети Fibre Channel могут передавать команды SCSI и информационные блоки, используя протокол FCP (Fibre Channel Protocol), который был разработан для обеспечения взаимодействия не только с SCSI, но также с IP и другими протоколами.

Наряду с удаленным прямым доступом к памяти (RDMA) через Ethernet и InfiniBand технология Fibre Channel также является одним из решений, которое позволяет повысить эффективность использования флэш-памяти накопителей в высокопроизводительных вычислительных средах, использующих сетевой стандарт передачи данных NVMe-oF (NVMe через фабрики, сетевой вариант NVMe).

Первая версия спецификаций NVMe-oF 1.0 была разработана некоммерческой организацией NVM Express Inc. и опубликована 5 июня 2016 года. В стандарте NVMe-oF 1.1, который вышел в 2019 году, было усовершенствовано управление ресурсами I/O, введен механизм регулирования потока передаваемых данных (control flow) End-to-End, добавлена поддержка NVMe/TCP и улучшена коммуникация через фабрики. Текущая версия стандарта – 1.1a – вышла в 2021 году.

Комитет T11, входящий в состав Международного комитета по стандартизации информационных технологий (INCITS), разработал формат кадра и протокол отображения для обеспечения интеграции NVMe-oF с Fibre Channel. Первая законченная версия протокола отображения под названием FC-NVMe была представлена на рассмотрение INCITS в августе 2017 года, а в 2020 году вышла текущая версия FC-NVMe 2.

Спецификации Fibre Channel утверждены стандартами «Fibre Channel Physical and Signaling standard», ANSI X3.230-1994 и ISO 14165-1.

История и перспективы развития Fibre Channel

Разработка протокола FCP началась в 1988 году в рамках проекта по созданию интеллектуального периферийного интерфейса Intelligent Peripheral Interface (IPI) Enhanced Physical Project. Первый проект стандарта был готов в 1989 году. Институт ANSI утвердил стандарт Fibre Channel в 1994 году. Fibre Channel стал первым последовательным интерфейсом передачи данных для систем и устройств хранения данных, который обеспечивал гигабитные скорости; и на протяжении последнего двадцатилетия его производительность удваивалась каждые несколько лет.

Сетевые скорости Fibre Channel традиционно выражаются в Гбит/с: 1 Гбит/с, 2 Гбит/с, 4 Гбит/с, 8 Гбит/с, 16 Гбит/с, 32 Гбит/с, 64 Гбит/с и 128 Гбит/с. В соответствии с пропускной способностью версии интерфейса ассоциация FCIA (Fibre Channel Industry Association) ввела номенклатуру Gigabit Fibre Channel (GFC) – 1GFC, 2GFC, 4GFC, 8GFC и т.д. Каждая версия Fibre Channel обратно совместима как минимум с двумя предыдущими. Например, стандарт 8GFC обратно совместим с 4GFC и 2GFC.

В версии Fibre Channel 5-го поколения под названием 16GFC изменился механизм кодирования. Версия Gen5 работает с линейной скоростью 15.025 Gbaud (гигабод) с односторонней пропускной способностью линии 1600 МБ/с и двусторонней пропускной способностью 3200 МБ/с, согласно документации FCIA.

В 6-м поколении Fibre Channel была улучшена энергетическая эффективность и появились такие функции, как виртуализация N_Port ID, прямая коррекция ошибок (FEC) для повышения надежности каналов Fibre Channel и предотвращения падения производительности приложений и простоев, которые могут возникать из-за ошибок в транслируемых данных. Поколение Gen6 представлено в вариантах 32GFC и 128GFC. Первый предлагает одну линию со скоростью 28.05 Gbaud и пропускной способностью 6400 МБ/с; второй вариант предлагает четыре параллельные линии со скоростью 112.2 Gbaud (28.5 Gbaud x4) и общей пропускной способностью 25660 МБ/с.

В будущем FCIA планирует ввести терабитный стандарт скорости – 1TFC (1 Terabit Fibre Channel), который должен обеспечить пропускную способность интерфейса 204800 МБ/с; разработку спецификаций комитет T11 планирует завершить в 2029 году. Между поколением Fibre Channel Gen6 и этим будущим стандартом существуют версии 64GFC (одна линия, 57.8 Gbaud, 12800 МБ/с) и 256GFC (четыре линии, 57.8 Gbaud х4, 51200 МБ/с). В планах также есть более продвинутые версии 128GFC и 256GFC с примерными сроками выпуска спецификаций T11 в 2023 и 2026 году соответственно и проект стандарта 512GFC (102400 МБ/с, срок – 2026 год).

Уровни Fibre Channel

Структура Fibre Channel включает в себя несколько уровней коммуникации, аналогичных уровням в модели OSI (Open Systems Interconnection), хотя и отличных от них. Как и модель OSI, стандарт Fibre Channel дифференцирует процесс сетевой коммуникации по уровням, или группам выполняемых функций. В модели OSI семь уровней, тогда как в Fibre Channel – пять. Сети IP используют пакеты данных, тогда как в Fibre Channel основной единицей пересылаемой информации являет кадр (или фрейм), что обеспечивает выверенную коммуникацию между узлами.

Кадр Fibre Channel включает в себя следующие уровни:

• верхний уровень отображения протоколов – FC-4;
• уровень общих для узла служб – FC-3;
• уровень кадрирования/ управления трафиком – FC-2;
• уровень кодирования – FC-1;
• уровень физических интерфейсов – FC-0.

В структуре Fibre Channel эти пять уровней кадра работают параллельно друг другу и обеспечивают выполнение функций, соответствующих каждому уровню. Основное преимущество такой многоуровневой коммуникации – облегчение внедрения инноваций: новая технология может вводиться на определенном уровне без нарушения структуры или необходимости перестройки других уровней.

Например, применяемые коммуникационные кабели, медные или оптические, относятся к уровню физических интерфейсов. И если внедряется новая технология кабелей, ее совместимость с существующим оборудованием будет необходимо обеспечить только на уровне FC-0.

Компоненты Fibre Channel

Основные компоненты Fibre Channel подразделяются на четыре группы.

Коммутаторы. Коммутатор Fibre Channel обеспечивает надежную высокоскоростную передачу данных без потерь с низкой задержкой через фабрики Fibre Channel. Он определяет исходные и конечные адреса пакетов данных и пересылает их по назначению. Являясь основными компонентами SAN, коммутаторы Fibre Channel могут связывать тысяч портов устройств хранения данных и серверов. Коммутаторы Fibre Channel класса «директор» также осуществляют функции зонирования трафика и шифрования.

Хост-адаптеры шины (Host bus adapter, HBA). HBA-адаптеры Fibre Channel – это карты, обеспечивающие подключения серверов к устройствам хранения данных и сетевым устройствам. HBA работают примерно по тому же принципу, что и сетевые адаптеры Ethernet. Они освобождают сервер от задач обработки сетевых пакетов, что позволяет повысить его производительность в части основных функций. Когда сети Fibre Channel и Ethernet были впервые объединены, производители HBA разработали конвергентный сетевой адаптер (CNA), объединивший в себе функции HBA-адаптера Fibre Channel и сетевой карты Ethernet.

Порты. Коммутаторы Fibre Channel и адаптеры HBA соединяются друг с другом и с серверами через физические и виртуальные порты. Узел фабрики Fibre Channel передает и принимает данные через порты, которые могут входить в различные логические конфигурации. Коммутаторы Fibre Channel могут иметь как менее 10 портов, так и сотни портов в одном шасси. Физические соединения между портами и HBA обеспечиваются медными или оптическими кабелями.

Программное обеспечение. Работа сетевых конфигураций Fibre Channel зависит еще и от программного уровня, куда входят драйверы устройств, а также программные средства управления хостами, портами и устройствами. Программное обеспечение позволяет визуализировать среду Fibre Channel и управлять ресурсами Fibre Channel с центральной консоли.

Топологии Fibre Channel

Протокол FCP поддерживает три основные топологии соединений портов Fibre Channel друг с другом, позволяющие подключать серверы к сетям и хранилищам через коммутаторы и адаптеры HBA.

Точка-точка. Простейшая и наиболее ограниченная по своим возможностям топология Fibre Channel соединяет друг с другом два устройства или порта, например, хост-сервер и напрямую подключенное к нему хранилище.

Управляемая петля. Устройства последовательно соединяются друг с другом по кольцевой схеме. Каждый узел или устройство в этой схеме передает данные следующему устройству. Все устройства одновременно используют всю пропускную способность петли. Поэтому отказ одного устройства или порта может нарушить коммуникацию во всей петле, если не использовать концентратор (хаб) Fibre Channel, соединяющий несколько устройств и обеспечивающий обход отказавших портов. Теоретическое максимальное количество устройств в управляемой петле – 127, но по практическим соображениям их обычно намного меньше.

Коммутируемая связная архитектура. Все устройства в этой топологии соединяются и общаются друг с другом через коммутаторы, которые оптимизируют пути передачи данных, используя протокол маршрутизации FSFP (Fabric Shortest Path First) и позволяя нескольким парам портов одновременно осуществлять взаимную коммуникацию. Порты не соединены друг с другом напрямую, а обмениваются данными через коммутаторы. При этом отказ одного порта не должен влиять на работу других портов. Все узлы топологии работают одновременно, что повышает ее эффективность, тогда как избыточность маршрутов передачи данных между устройствами повышает надежность. В фабрику – совокупность коммутаторов, соединенных между собой межкоммутаторными линками (interswitch link, ISL), – можно добавлять новые коммутаторы без необходимости разбирать и заново собирать сеть.

Логические типы портов

Топологии фабрик

Различают следующие типы топологии фабрик:

• Однокоммутаторная топология является простейшей. Она включает в себя всего один коммутатор и не содержит ISL. Эта топология редко используется, поскольку представляет собой единую точку отказа.
• Каскадная топология соединяет коммутаторы один за другим в линию. Добавление линка между первым и последним коммутатором превращает эту топологию в кольцевую.
• В топологии решетки каждый коммутатор фабрики соединен с каждым из остальных.
• Топология центр-периферия сочетает принцип решетки с иерархическим подходом, где в качестве центральных коммутаторов используются высокопроизводительные коммутаторы-директоры. Эта топология обеспечивает соединение серверов с периферией фабрики и хранилищ с центром. Центральные коммутаторы служат основным связующим звеном коммуникации между серверами и хранилищами.
• Топология периферия-центр-периферия позволяет подключать и серверы, и хранилища к периферийным коммутаторам, тогда как центральные коммутаторы используются только для объединения и масштабирования периферии фабрики. Эта топология помогает расширять площадь трансляции трафика SAN и облегчает управление хранилищами и серверами, когда хранилища и серверы подключаются к разным участкам периферии фабрики Fibre Channel.

Топология фабрики	Конфигурация	Минимальное кол-во коммутаторов	Примечания
Stand-alone		1	Один вертикально масштабируемый коммутатор
Каскад		2	Простейший пример горизонтального масштабирования и/или построения межкоммутаторных линков (ISL)
Кольцо		3	Может использоваться в горизонтальном масштабировании для увеличения емкости портов или для соединения трех участков SAN. Два кольца с несколькими ISL могут использоваться с целью резервирования и повышения производительности фабрик.
Центр-периферия		6	Соединяет функциональные кластеры SAN. Масштабируемые коммутаторы могут использоваться в качестве центральных и периферийных.

Сравнение сетей хранения данных на базе Fibre Channel и iSCSi

На уровне Layer 2 модели OSI (канальный уровень) в сетях Fibre Channel используется собственный протокол. В противоположность этому, относящийся к уровню Layer 3 сетевой протокол интерфейса малых компьютерных систем Интернета SCSI (iSCSI) работает на основе Ethernet. Таким образом, здесь обеспечивается полная программно-аппаратная совместимость Ethernet-оборудования с iSCSI.

Работающий на базе Ethernet протокол iSCSI передает пакеты SCSI по сети TCP/IP. Поскольку сети iSCSI используют повсеместно распространенный Ethernet, они не требуют покупки и установки дорогостоящих и часто сложных адаптеров и сетевых карт. Это делает iSCSI более дешевым и простым в развертывании решением.

Многие дата-центры, оборудованные SAN высокой емкости на базе Fibre Channel (FC SAN), для критических нагрузок предпочитают использовать Fibre Channel, а не iSCSI. Главным образом потому, что Fibre Channel – это проверенная технология, про которую администраторы дата-центров знают, что она надежно справляется с высокими нагрузками без потери пакетов данных.

Для корректного развертывания, настройки и эксплуатации сетей FC SAN требуется соответствующая квалификация. С другой стороны, конфигурацию iSCSI SAN сотрудники отдела IT могут реализовать на существующем сетевом оборудовании, используя обычные коммутаторы и сетевые карты Ethernet. Кроме того, в случае выбора iSCSI можно обойтись одной корпоративной сетью, тогда как вариант Fibre Channel подразумевает установку и обслуживание двух сетей: FC SAN для хранения данных и сети Ethernet для всего остального.

Все крупные поставщики решений для дата-центров обычно предлагают массивы iSCSI SAN в дополнение к основным конфигурациям Fibre Channel. Некоторые предлагают унифицированные «мультипротокольные» платформы хранения данных с параллельной поддержкой iSCSI и Fibre Channel.

Fibre Channel и Ethernet

Fibre Channel и Ethernet представляют собой разные типы сетевых технологий, предназначенные для решения разных задач в IT-инфраструктуре предприятия.

Fibre Channel

Вообще говоря, Fibre Channel поддерживает поочередную передачу «сырых» блоков данных без потерь. Поэтому эта технология незаменима в задачах высокоскоростного обмена данными между серверами и подсистемами или устройствами хранения данных (сетевыми хранилищами).

Сети Fibre Channel работают со скоростями 2ⁿ гигабит в секунду, в настоящее время доступен диапазон от 1 до 128 Гбит/с; в будущем готовится выпуск версий стандарта со скоростями 256 и 512 Гбит/с.

В Fibre Channel не предусмотрено большого количества функций защиты данных, но в большинстве случаев развертываемые конфигурации относятся к изолированным сетям предприятий, не подключенным к другим сетям или к интернету. Это обеспечивает естественную защиту от взломов и несанкционированного доступа.

Ethernet

Что касается Ethernet, то это универсальная сетевая технология внеочередной пакетной передачи данных, индифферентная к потере пакетов, которая используется в локальных (LAN) и глобальных (WAN) сетях. Ethernet широко доступен и досконально стандартизирован. Он базируется на стандарте IEEE 802.3 и общепринятой сетевой модели OSI. Кроме того, Ethernet поддерживает длинные кабельные подключения и скорости от 1 до 400 Гбит/с.

Использование широко применяемого и уязвимого протокола TCP/IP делает сети Ethernet и подключенные к ним системы достаточно уязвимыми для хакерских атак, что требует применения дополнительных мер защиты данных. Тем не менее, сеть Ethernet остается популярным решением для подключения базовых подсистем хранения данных, таких как NAS (network-attached storage).

Технология Fibre Channel over Ethernet (FCoE)

Учтя все возможные компромиссы между Fibre Channel и Ethernet, разработчики нашли способ объединить эти две различные технологии. Подход Fibre Channel over Ethernet (FCoE) позволяет инкапсулировать данные и форматы Fibre Channel в протоколе Ethernet со скоростями 10 Гбит/с и более. По сути, здесь нулевой и первый уровни стека Fibre Channel заменяются на соответствующие уровни Ethernet, что позволяет передавать команды и данные Fibre Channel по локальным сетям Ethernet.

Однако протокол FCoE не является маршрутизируемым и не работает в маршрутизируемых сетях IP. Международный стандарт FCoE содержится в документе T11 FC-BB-5, опубликованном в 2009 году. При корректном применении FCoE позволяет интегрировать Fibre Channel с приложениями и управляющим программным обеспечением, работающими на базе Ethernet.

Стандарт FCoE определяет три основных принципа работы Fibre Channel через Ethernet:

• кадры Fibre Channel должны инкапсулироваться в кадры Ethernet;
• протокол FCoE должен поддерживать передачу данных без потерь, когда кадры не теряются, а передаются повторно в соответствии с уровнем перегрузки сети;
• протокол FCoE должен отображать идентификаторы узловых портов Fibre Channel (N_port ID) на общеупотребительные MAC-адреса Ethernet. Компьютеры могут получать доступ к FCoE через CNA-адаптеры, которые совмещают в себе функции HBA-адаптеров Fibre Channel и сетевых карт Ethernet.

Fibre Channel и оптоволоконные коммуникации

Технология Fibre Channel поддерживает как медные, так и оптические кабели, в зависимости от особенностей развертывания. Медные кабели хорошо подходят для коротких подключений Fibre Channel, в пределах примерно 30 метров. Оптоволоконные кабели используются в средних и длинных сетевых подключениях, с длиной линии до 10 км, например, в сетях кампусов и локальных муниципальных сетях.

Выбор кабеля зависит от используемых портов HBA и доступных портов на коммутаторах Fibre Channel и сетевых хранилищах. В большинстве случаев оборудование располагает опциями портов как для медных, так и для оптических кабелей, которые применяются в зависимости от конкретных условий.