Хранение данных на сервере в файловой системе. Как выбрать СХД? Системы Хранения Данных DAS, NAS, SAN. Оперативная продажа систем хранения данных

Зависимость бизнес-процессов предприятия от ИТ-сферы постоянно растет. На сегодня вопросу непрерывности работы ИТ-сервисов уделяют внимание не только крупные компании, но и представители среднего, а зачастую и малого бизнеса.

Одним из центральных элементов обеспечения отказоустойчивости является система хранения данных (СХД) - устройство на котором централизовано храниться вся информация. СХД характеризуется высокой масштабируемостью, отказоустойчивостью, возможностью выполнять все сервисные операции без остановки работы устройства (в том числе замену компонентов). Но стоимость даже базовой модели измеряется в десятках тысяч долларов. Например, Fujitsu ETERNUS DX100 с 12-ю дисками Nearline SAS 1Tb SFF (RAID10 6TB) стоит порядка 21 000 USD , что для небольшой компании очень дорого.

В нашей статье мы предлагаем рассмотреть варианты организации бюджетного хранилища , которое не проигрывает по производительности и надежности классическим системам. Для его реализации предлагаем использовать CEPH .

Что такое CEPH и как он работает?

CEPH – хранилище на базе свободного ПО, представляет из себя объединение дисковых пространств нескольких серверов (количество серверов на практике измеряется десятками и сотнями). CEPH позволяет создать легкомасштабируемое хранилище с высокой производительностью и избыточностью ресурсов. CEPH может использоваться как в качестве объектного хранилища (служить для хранения файлов) так и в качестве блочного устройства (отдача виртуальных жестких дисков).

Отказоустойчивость хранилища обеспечивается репликацией каждого блока данных на несколько серверов. Количество одновременно хранимых копий каждого блока называется фактором репликации, по умолчанию его значение равно 2. Схема работы хранилища показана на рисунке 1, как видим информация разбивается на блоки, каждый из которых распределяется по двум разным нодам.

Рисунок 1 - Распределение блоков данных

Если на серверах не используются отказоустойчивые дисковые массивы, для надежного хранения данных рекомендуется использовать более высокое значение фактора репликации. В случае выхода из строя одного из серверов CEPH фиксирует недоступность блоков данных (рисунок 2), которые на нем размещены, ожидает определенное время (параметр настраивается, по умолчанию 300 сек.), после чего начинает воссоздание недостающих блоков информации в другом месте (рисунок 3).

Рисунок 2 - Выход из строя одной ноды

Рисунок 3 - Восстановление избыточности

Аналогично, в случае добавления в кластер нового сервера происходит ребаллансировка хранилища с целью равномерного заполнения дисков на всех нодах. Механизм который контролирует процессы распределения блоков информации в кластере CEPH называется CRUSH.

Для получения высокой производительности дискового пространства в кластерах CEPH рекомендуется использовать функционал cache tiering (многоуровневое кэширование). Смысл его заключается в том, чтобы создать отдельный высокопроизводительный пул и использовать его для кэширования, основная же информация будет размещена на более дешевых дисках (рисунок 4).

Рисунок 4 - Логическое представление дисковых пулов

Многоуровневое кэширование будет работать следующим образом: запросы клиентов на запись будут записываться в самый быстрый пул, после чего перемещаться на уровень хранения. Аналогично по запросам на чтение – информация при обращении будет подниматься на уровень кэширования и обрабатываться. Данные продолжают оставаться на уровне кэша пока не становятся неактивными или пока не теряют актуальность (рисунок 5). Стоит отметить, что кэширование можно настроить только на чтение, в этом случае запросы на запись будут заноситься прямо в пул хранения.

Рисунок 5 - Принцип работы кэш-тирринг

Рассмотрим реальные сценарии использования CEPH в организации для создания хранилища данных. В качестве потенциального клиента рассматриваются организации малого и среднего бизнеса, где будет наиболее востребована эта технология. Мы рассчитали 3 сценария использования описанного решения:

1. Производственное или торговое предприятие с требованием к доступности внутренней ERP системы и файлового хранилища 99,98% в год, 24/7.
2. Организация, которой для ее бизнес-задач требуется развернуть локальное частное облако.
3. Очень бюджетное решение для организации отказоустойчивого блочного хранилища данных, полностью независимое от аппаратного обеспечения с доступностью 99,98% в год и недорогим масштабированием.

Сценарий использования 1. Хранилище данных на базе CEPH

Рассмотрим реальный пример применения CEPH в организации. Например, нам требуется отказоустойчивое производительное хранилище объемом 6 Тб, но затраты даже на базовую модель СХД с дисками составляют порядка $21 000 .

Собираем хранилище на базе CEPH. В качестве серверов предлагаем использовать решение Supermicro Twin (Рисунок 6). Продукт представляет собой 4 серверные платформы в едином корпусе высотой 2 юнита, все основные узлы устройства дублируются, что обеспечивает его непрерывное функционирование. Для реализации нашей задачи будет достаточно использовать 3 ноды, 4-я будет в запасе на будущее.

Рисунок 6 - Supermicro Twin

Комплектуем каждую из нод следующим образом: 32 Гб ОЗУ, 4-х ядерный процессор 2,5 Ггц, 4 SATA диска по 2 Тб для пула хранения объединяем в 2 массива RAID1, 2 SSD диска для пула кэширования также объединяем в RAID1 . Стоимость всего проекта указана в таблице 1.

Таблица 1. Комплектующие для хранилища на базе CEPH

Комплектующие	Цена, USD	Кол-во	Стоимость, USD
	4 999,28	1	4 999,28
	139,28	6	835,68
Процессор Ivy Bridge-EP 4-Core 2.5GHz (LGA2011, 10MB, 80W, 22nm) Tray	366,00	3	1 098,00
	416,00	12	4 992,00
	641,00	6	3 846,00
ИТОГО			15 770,96

Вывод: В результате построения хранилища получим дисковый массив 6Tb c затратами порядка $16 000 , что на 25% меньше чем закупка минимальной СХД, при этом на текущих мощностях можно запустить виртуальные машины, работающие с хранилищем, тем самым сэкономить на покупке дополнительных серверов. По сути – это законченное решение.

Серверы, из которых строится хранилище, можно использовать не только как вместилище жестких дисков, но в качестве носителей виртуальных машин или серверов приложений.

Сценарий использования 2. Построение частного облака

Задача состоит в том, чтобы развернуть инфраструктуру для построения частного облака с минимальными затратами.

Построение даже небольшого облака состоящего из например из 3-х носителей примерно в $36 000 : $21 000 – стоимость СХД + $5000 за каждый сервер с 50% наполнением.

Использование CEPH в качестве хранилища позволяет совместить вычислительные и дисковые ресурсы на одном оборудовании. То есть не нужно закупать отдельно СХД - для размещения виртуальных машин будут использоваться диски установленные непосредственно в серверы.

Краткая справка:
Классическая облачная структура представляет из себя кластер виртуальных машин, функционирование которых обеспечивают 2 основных аппаратных компонента:

1. Вычислительная часть (compute) - серверы, заполненные оперативной памятью и процессорами, ресурсы которых используются виртуальными машинами для вычислений
2. Система хранения данных (storage) – устройство наполненное жесткими дисками, на котором хранятся все данные.

В качестве оборудования берем те же серверы Supermicro, но ставим более мощные процессоры – 8-ми ядерные с частотой 2,6 GHz, а также 96 Гб ОЗУ в каждую ноду , так как система будет использоваться не только для хранения информации, но и для работы виртуальных машин. Набор дисков берем аналогичный первому сценарию.

Таблица 2. Комплектующие для частного облака на базе CEPH

Комплектующие	Цена, USD	Кол-во	Стоимость, USD
Supermicro Twin 2027PR-HTR: 4 hot-pluggable systems (nodes) in a 2U form factor. Dual socket R (LGA 2011), Up to 512GB ECC RDIMM, Integrated IPMI 2.0 with KVM and Dedicated LAN. 6x 2.5" Hot-swap SATA HDD Bays. 2000W Redundant Power Supplies	4 999,28	1	4 999,28
Модуль памяти Samsung DDR3 16GB Registered ECC 1866Mhz 1.5V, Dual rank	139,28	18	2 507,04
Процессор Intel Xeon E5-2650V2 Ivy Bridge-EP 8-Core 2.6GHz (LGA2011, 20MB, 95W, 32nm) Tray	1 416,18	3	4 248,54
Жесткий диск SATA 2TB 2.5" Enterprise Capacity SATA 6Gb/s 7200rpm 128Mb 512E	416	12	4 992,00
Твердотельный накопитель SSD 2.5"" 400GB DC S3710 Series.	641	6	3 846,00
ИТОГО			20 592,86

Собранное облако будет иметь следующие ресурсы с учетом сохранения стабильности при выходе из строя 1-й ноды:

• Оперативная память: 120 Гб
• Дисковое пространство 6000 Гб
• Процессорные ядра физические: 16 Шт.

Собранный кластер сможет поддерживать порядка 10 средних виртуальных машин с характеристиками: 12 ГБ ОЗУ / 4 процессорных ядра / 400 ГБ дискового пространства.

Также стоит учесть что все 3 сервера заполнены только на 50% и при необходимости их можно доукомплектовать, тем самым увеличив пул ресурсов для облака в 2 раза.

Вывод: Как видим, мы получили как полноценный отказоустойчивый кластер виртуальных машин, так и избыточное хранилище данных - выход из строя любого из серверов не критичен – система продолжит функционирование без остановки, при этом стоимость решения примерно в 1,5 раза ниже , чем купить СХД и отдельные сервера.

Сценарий использования 3. Построение сверхдешевого хранилища данных

Если бюджет совсем ограничен и нет денег на закупку оборудования описанного выше, можно закупить серверы бывшие в употреблении, но на дисках экономить не стоит – их настоятельно рекомендуется купить новые.

Предлагаем рассмотреть следующую структуру: закупается 4 серверные ноды, в каждый сервер ставиться по 1 SSD-диску для кэширования и по 3 SATA диска . Серверы Supermicro с 48 ГБ ОЗУ и процессорами линейки 5600 можно сейчас купить примерно за $800 .

Диски не будут собираться в отказоустойчивые массивы на каждом сервере, а будут представлены как отдельное устройство. В связи с этим для повышения надежности хранилища будем использовать фактор репликации 3. То есть у каждого блока будет 3 копии. При такой архитектуре зеркалирования дисков SSD кеша не требуется, так как происходит автоматическое дублирование информации на другие ноды.

Таблица 3. Комплектующие для стореджа

Вывод: В случае необходимости в данном решении можно использовать диски большего объема, либо заменить их на SAS, если нужно получить максимальную производительность для работы СУБД. В данном примере в результате получим хранилище объемом 8 ТБ с очень низкой стоимостью и очень высокой отказоустойчивостью. Цена одного терабайта получилась в 3,8 раза дешевле , чем при использовании промышленной СХД за $21000.

Итоговая таблица, выводы

Конфигурация	СХД Fujitsu ETERNUS DX100 + 12 Nearline SAS 1Tb SFF (RAID10)	СХД Fujitsu ETERNUS DX100 + 12 Nearline SAS 1Tb SFF (RAID10) + Supermicro Twin	Наш сценарий 1: хранилище на базе CEPH	Наш сценарий 2: построение частного облака	Нашсценарий 3: построение сверхдешевого хранилища
Полезный обьем, ГБ	6 000	6 000	6 000	6000	8 000
Цена, USD	21000	36000	15 770	20 592	7 324
Стоимость 1 ГБ, USD	3,5	6	2,63	3,43	0,92
Количество IOPs* (чтение 70%/запись 30%, Размер блока 4К)	760	760	700	700	675
Назначение	Хранилище	Хранилище + Вычисление	Хранилище + Вычисление	Хранилище + Вычисление	Хранилище + Вычисление

*Расчет количества IOPs выполнен для созданных массивов из дисков NL SAS на СХД и дисков SATA на сторедже CEPH, кэширование отключалось для чистоты полученных значений. При использовании кэширования показатели IOPs будут значительно выше до момента заполнения кэша.

В итоге можно сказать, что на основе кластера CEPH можно строить надежные и дешевые хранилища данных. Как показали расчеты, использовать ноды кластера только для хранения не очень эффективно – решение выходит дешевле чем закупить СХД, но не на много – в нашем примере стоимость хранилища на CEPH была примерно на 25% меньше чем Fujitsu DX100. По-настоящему экономия ощущается в результате совмещения вычислительной части и хранилища на одном оборудовании - в таком случае стоимость решения будет в 1,8 раз меньше, чем при построении классической структуры с применением выделенного хранилища и отдельных хост-машин.

Компания EFSOL реализует данное решение по индивидуальным требованиям. Мы можем использовать имеющееся у вас оборудование, что ещё более снизит капитальные затраты на внедрение системы. Свяжитесь с нами и мы проведем обследование вашего оборудования на предмет его использования при создании СХД.

С повседневным усложнением сетевых компьютерных систем и глобальных корпоративных решений мир начал требовать технологий, которые бы дали толчок к возрождению корпоративных систем хранения информации (сторедж-систем). И вот, одна единая технология приносит в мировую сокровищницу достижений в области сторедж невиданное ранее быстродействие, колоссальные возможности масштабирования и исключительные преимущества общей стоимости владения. Обстоятельства, которые сформировались с появлением стандарта FC-AL (Fibre Channel - Arbitrated Loop) и SAN (Storage Area Network), которая развивается на его основе, обещают революцию в дата-ориентированных технологиях компьютинга.

«The most significant development in storage we"ve seen in 15 years»

Data Communications International, March 21, 1998

Формальное определение SAN в трактовке Storage Network Industry Association (SNIA):

«Сеть, главной задачей которой является передача данных между компьютерными системами и устройствами хранения данных, а также между самими сторедж-системами. SAN состоит из коммуникационной инфраструктуры, которая обеспечивает физическую связь, а также отвечает за уровень управления (management layer), который объединяет связи, сторедж и компьютерные системы, осуществляя передачу данных безопасно и надежно».

SNIA Technical Dictionary, copyright Storage Network Industry Association, 2000

Варианты организации доступа к сторедж-системам

Различают три основных варианта организации доступа к системам хранения:

• SAS (Server Attached Storage), сторедж, присоединенный к серверу;
• NAS (Network Attached Storage), сторедж, подсоединенный к сети;
• SAN (Storage Area Network), сеть хранения данных.

Рассмотрим топологии соответствующих сторедж-систем и их особенности.

SAS

Сторедж-система, присоединенная к серверу. Знакомый всем, традиционный способ подключения системы хранения данных к высокоскоростному интерфейсу в сервере, как правило, к параллельному SCSI интерфейсу.

Рисунок 1. Server Attached Storage

Использование отдельного корпуса для сторедж-системы в рамках топологии SAS не является обязательным.

Основное преимущество сторедж, подсоединенного к серверу, в сравнении с другими вариантами - низкая цена и высокое быстродействие из расчета один сторедж для одного сервера. Такая топология является самой оптимальной в случае использования одного сервера, через который организуется доступ к массиву данных. Но у нее остается ряд проблем, которые побудили проектировщиков искать другие варианты организации доступа к системам хранения данных.

К особенностям SAS можно отнести:

• Доступ к данных зависит от ОС и файловой системы (в общем случае);
• Сложность организации систем с высокой готовностью;
• Низкая стоимость;
• Высокое быстродействие в рамках одной ноды;
• Уменьшение скорости отклика при загрузке сервера, который обслуживает сторедж.

NAS

Сторедж-система, подсоединенная к сети. Этот вариант организации доступа появился сравнительно недавно. Основным его преимуществом является удобство интеграции дополнительной системы хранения данных в существующие сети, но сам по себе он не привносит сколь-нибудь радикальных улучшений в архитектуру сторедж. Фактически NAS есть чистый файл-сервер, и сегодня можно встретить немало новых реализаций сторедж типа NAS на основе технологии тонкого сервера (Thin Server).

Рисунок 2. Network Attached Storage.

Особенности NAS:

• Выделенный файл-сервер;
• Доступ к данным не зависит от ОС и платформы;
• Удобство администрирования;
• Максимальная простота установки;
• Низкая масштабируемость;
• Конфликт с трафиком LAN/WAN.

Сторедж, построенный по технологии NAS, является идеальным вариантом для дешевых серверов с минимальным набором функций.

SAN

Сети хранения данных начали интенсивно развиваться и внедряться лишь с 1999 года. Основой SAN является отдельная от LAN/WAN сеть, которая служит для организации доступа к данным серверов и рабочих станций, занимающихся их прямой обработкой. Такая сеть создается на основе стандарта Fibre Channel, что дает сторедж-системам преимущества технологий LAN/WAN и возможности по организации стандартных платформ для систем с высокой готовностью и высокой интенсивностью запросов. Почти единственным недостатком SAN на сегодня остается относительно высокая цена компонент, но при этом общая стоимость владения для корпоративных систем, построенных с использованием технологии сетей хранения данных, является довольно низкой.

Рисунок 3. Storage Area Network.

К основным преимуществам SAN можно отнести практически все ее особенности:

• Независимость топологии SAN от сторедж-систем и серверов;
• Удобное централизованное управление;
• Отсутствие конфликта с трафиком LAN/WAN;
• Удобное резервирование данных без загрузки локальной сети и серверов;
• Высокое быстродействие;
• Высокая масштабируемость;
• Высокая гибкость;
• Высокая готовность и отказоустойчивость.

Следует также заметить, что технология эта еще довольно молодая и в ближайшее время она должна пережить немало усовершенствований в области стандартизации управления и способов взаимодействия SAN подсетей. Но можно надеяться, что это угрожает пионерам лишь дополнительными перспективами первенства.

FC как основа построения SAN

Подобно LAN, SAN может создаваться с использованием различных топологий и носителей. При построении SAN может использоваться как параллельный SCSI интерфейс, так и Fibre Channel или, скажем, SCI (Scalable Coherent Interface), но своей все возрастающей популярностью SAN обязана именно Fibre Channel. В проектировании этого интерфейса принимали участие специалисты со значительным опытом в разработке как канальных, так и сетевых интерфейсов, и им удалось объединить все важные положительные черты обеих технологий для того, чтобы получить что-то в самом деле революционно новое. Что именно?

Основные ключевые особенности канальных:

• Низкие задержки
• Высокие скорости
• Высокая надежность
• Топология точка-точка
• Небольшие расстояния между нодами
• Зависимость от платформы

и сетевых интерфейсов:

• Многоточечные топологии
• Большие расстояния
• Высокая масштабируемость
• Низкие скорости
• Большие задержки

объединились в Fibre Channel:

• Высокие скорости
• Независимость от протокола (0-3 уровни)
• Большие расстояния
• Низкие задержки
• Высокая надежность
• Высокая масштабируемость
• Многоточечные топологии

Традиционно сторедж интерфейсы (то, что находится между хостом и устройствами хранения информации) были преградой на пути к росту быстродействия и увеличению объема систем хранения данных. В то же время прикладные задачи требуют значительного прироста аппаратных мощностей, которые, в свою очередь, тянут за собой потребность в увеличении пропускной способности интерфейсов для связи со сторедж-системами. Именно проблемы построения гибкого высокоскоростного доступа к данным помогает решить Fibre Channel.

Стандарт Fibre Channel был окончательно определен за последние несколько лет (с 1997-го по 1999-й), на протяжении которых была проведена колоссальная работа по согласованию взаимодействия производителей различных компонент, и было сделано все необходимое, чтобы Fibre Channel превратился из чисто концептуальной технологии в реальную, которая получила поддержку в виде инсталляций в лабораториях и вычислительных центрах. В году 1997 были спроектированы первые коммерческие образцы краеугольных компонент для построения SAN на базе FC, таких как адаптеры, хабы, свичи и мосты. Таким образом, уже начиная с 1998-го года FC используется в коммерческих целях в деловой сфере, на производстве и в масштабных проектах реализации систем, критичных к отказам.

Fibre Channel - это открытый промышленный стандарт высокоскоростного последовательного интерфейса. Он обеспечивает подключение серверов и сторедж-систем на расстоянии до 10 км (при использовании стандартного оснащения) на скорости 100 MB/s (на выставке Cebit"2000 были представлены образцы продукции, которые используют новый стандарт Fibre Channel со скоростями 200 MB/s на одно кольцо, а в лабораторных условиях уже эксплуатируются реализации нового стандарта со скоростями 400 MB/s, что составляет 800 MB/s при использовании двойного кольца). (На момент публикации статьи ряд производителей уже начал отгружать сетевые карточки и свичи на FC 200 MB/s.) Fibre Channel одновременно поддерживает целый ряд стандартных протоколов (среди которых TCP/IP и SCSI-3) при использовании одного физического носителя, который потенциально упрощает построение сетевой инфраструктуры, к тому же это предоставляет возможности для уменьшения стоимости монтажа и обслуживания. Тем не менее использование отдельных подсетей для LAN/WAN и SAN имеет ряд преимуществ и является рекомендованным по умолчанию.

Одним из важнейших преимуществ Fibre Channel наряду со скоростными параметрами (которые, кстати, не всегда являются главными для пользователей SAN и могут быть реализованы с помощью других технологий) является возможность работы на больших расстояниях и гибкость топологии, которая пришла в новый стандарт из сетевых технологий. Таким образом, концепция построения топологии сети хранения данных базируется на тех же принципах, что и традиционные сети, как правило, на основе концентраторов и коммутаторов, которые помогают предотвратить падение скорости при возрастании количества нод и создают возможности удобной организации систем без единой точки отказов.

Для лучшего понимания преимуществ и особенностей этого интерфейса приведем сравнительную характеристику FC и Parallel SCSI в виде таблицы.

Таблица 1. Сравнение технологий Fibre Channel и параллельного SCSI

В стандарте Fibre Channel предполагается использование разнообразных топологий, таких как точка-точка (Point-to-Point), кольцо или FC-AL концентратор (Loop или Hub FC-AL), магистральный коммутатор (Fabric/Switch).

Топология point-to-point используется для подсоединения одиночной сторедж-системы к серверу.

Loop или Hub FC-AL - для подсоединения множественных сторедж устройств к нескольким хостам. При организации двойного кольца увеличивается быстродействие и отказоустойчивость системы.

Коммутаторы используются для обеспечения максимального быстродействия и отказоустойчивости для сложных, больших и разветвленных систем.

Благодаря сетевой гибкости в SAN заложена чрезвычайно важная особенность - удобная возможность построения отказоустойчивых систем.

Предлагая альтернативные решения для систем хранения данных и возможности по объединению нескольких сторедж для резервирования аппаратных средств, SAN помогает обеспечивать защиту аппаратно-программных комплексов от аппаратных сбоев. Для демонстрации приведем пример создания двухнодовой системы без точек отказов.

Рисунок 4. No Single Point of Failure.

Построение трех- и более нодовых систем осуществляется простым добавлением в FC сеть дополнительных серверов и подключением их к обоим концентраторам/ коммутаторам).

При использовании FC построение устойчивых к сбоям (disaster tolerant) систем становится прозрачным. Сетевые каналы и для сторедж, и для локальной сети можно проложить на основе оптоволокна (до 10 км и больше с использованием усилителей сигнала) как физического носителя для FC, при этом используется стандартная аппаратура, которая дает возможность значительно уменьшить стоимость подобных систем.

Благодаря возможности доступа ко всем компонентам SAN из любой ее точки мы получаем чрезвычайно гибко управляемую сеть данных. При этом следует заметить, что в SAN обеспечивается прозрачность (возможность видеть) всех компонентов вплоть до дисков в сторедж-системах. Эта особенность подтолкнула производителей компонентов к использованию своего значительного опыта в построении систем управления для LAN/WAN с тем, чтобы заложить широкие возможности по мониторингу и управлению во все компоненты SAN. Эти возможности включают в себя мониторинг и управление отдельных нод, сторедж компонентов, корпусов, сетевых устройств и сетевых подструктур.

В системе управления и мониторинга SAN используются такие открытые стандарты, как:

• SCSI command set
• SCSI Enclosure Services (SES)
• SCSI Self Monitoring Analysis and Reporting Technology (S.M.A.R.T.)
• SAF-TE (SCSI Accessed Fault-Tolerant Enclosures)
• Simple Network Management Protocol (SNMP)
• Web-Based Enterprise Management (WBEM)

Системы, построенные с использованием технологий SAN, не только обеспечивают администратору возможность следить за развитием и состоянием сторедж ресурсов, но и открывают возможности по мониторингу и контролю трафика. Благодаря таким ресурсам программные средства управления SAN реализуют наиболее эффективные схемы планирования объема сторедж и балансирование нагрузки на компоненты системы.

Сети хранения данных прекрасно интегрируются в существующие информационные инфраструктуры. Их внедрение не требует каких-либо изменений в уже существующих сетях LAN и WAN, а лишь расширяет возможности существующих систем, избавляя их от задач, ориентированных на передачу больших объемов данных. Причем при интеграции и администрировании SAN очень важным является то, что ключевые элементы сети поддерживают горячую замену и установку, с возможностями динамического конфигурирования. Так что добавить тот или другой компонент или осуществить его замену администратор может, не выключая систему. И весь этот процесс интеграции может быть визуально отображен в графической системе управления SAN.

Рассмотрев вышеперечисленные преимущества, можно выделить ряд ключевых моментов, которые непосредственно влияют на одно из основных преимуществ Storage Area Network - общую стоимость владения (Total Cost Ownership).

Невероятные возможности масштабирования позволяют предприятию, которое использует SAN, вкладывать деньги в серверы и сторедж по мере необходимости. А также сохранить свои вложения в уже инсталлированную технику при смене технологических поколений. Каждый новый сервер будет иметь возможность высокоскоростного доступа к сторедж и каждый дополнительный гигабайт сторедж будет доступен всем серверам подсети по команде администратора.

Прекрасные возможности по построению отказоустойчивых систем могут приносить прямую коммерческую выгоду от минимизации простоев и спасать систему в случае возникновения стихийного бедствия или каких-нибудь других катаклизмов.

Управляемость компонентов и прозрачность системы предоставляют возможность осуществлять централизованное администрирование всех сторедж ресурсов, а это, в свою очередь, значительно уменьшает затраты на их поддержку, стоимость которой, как правило, составляет более 50% от стоимости оснащения.

Влияние SAN на прикладные задачи

Для того чтобы нашим читателям стало понятней, насколько практически полезны технологии, которые рассматриваются в этой статье, приведем несколько примеров прикладных задач, которые без использования сетей хранения данных решались бы неэффективно, требовали бы колоссальных финансовых вложений или же вообще не решались бы стандартными методами.

Резервирование и восстановление данных (Data Backup and Recovery)

Используя традиционный SCSI интерфейс, пользователь при построении систем резервирования и восстановления данных сталкивается с рядом сложных проблем, которые можно очень просто решить, используя технологии SAN и FC.

Таким образом, использование сетей хранения данных выводит решение задачи резервирования и восстановления на новый уровень и предоставляет возможность осуществлять бэкап в несколько раз быстрее, чем раньше, без загрузки локальной сети и серверов работой по резервированию данных.

Кластеризация серверов (Server Clustering)

Одной из типичных задач, для которых эффективно используется SAN, является кластеризация серверов. Поскольку один из ключевых моментов в организации высокоскоростных кластерных систем, которые работают с данными - это доступ к сторедж, то с появлением SAN построение многонодовых кластеров на аппаратном уровне решается простым добавлением сервера с подключением к SAN (это можно сделать, даже не выключая системы, поскольку свичи FC поддерживают hot-plug). При использовании параллельного SCSI интерфейса, возможности по подсоединению и масштабируемость которого значительно хуже, чем у FC, кластеры, ориентированные на обработку данных, было бы тяжело сделать с количеством нод больше двух. Коммутаторы параллельного SCSI - весьма сложные и дорогие устройства, а для FC это стандартный компонент. Для создания кластера, который не будет иметь ни единой точки отказов, достаточно интегрировать в систему зеркальную SAN (технология DUAL Path).

В рамках кластеризации одна из технологий RAIS (Redundant Array of Inexpensive Servers) кажется особенно привлекательной для построения мощных масштабируемых систем интернет-коммерции и других видов задач с повышенными требованиями к мощности. По словам Alistair A. Croll, сооснователя Networkshop Inc, использование RAIS оказывается достаточно эффективным:«Например, за $12000-15000 вы можете купить около шести недорогих одно-двухпроцессорных (Pentium III) Linux/Apache серверов. Мощность, масштабируемость и отказоустойчивость такой системы будет значительно выше, чем, например, у одного четырехпроцессорного сервера на базе процессоров Xeon, а стоимость одинаковая».

Одновременный доступ к видео и распределение данных (Concurrent video streaming, data sharing)

Вообразите себе задачу, когда вам нужно на нескольких (скажем, >5) станциях редактировать видео или просто работать над данными огромного объема. Передача файла размером 100GB по локальной сети займет у вас несколько минут, а общая работа над ним будет очень сложной задачей. При использовании SAN каждая рабочая станция и сервер сети получают доступ к файлу на скорости, эквивалентной локальному высокоскоростному диску. Если вам нужны еще одна станция/сервер для обработки данных, вы сможете ее прибавить к SAN, не выключая сети, простым подсоединением станции к SAN коммутатору и предоставлением ей прав доступа к сторедж. Если же вас перестанет удовлетворять быстродействие подсистемы данных, вы сможете просто прибавить еще один сторедж и с использованием технологии распределения данных (например, RAID 0) получить вдвое большее быстродействие.

Основные компоненты SAN

Среда

Для соединения компонентов в рамках стандарта Fibre Channel используют медные и оптические кабели. Оба типа кабелей могут использоваться одновременно при построении SAN. Конверсия интерфейсов осуществляется с помощью GBIC (Gigabit Interface Converter) и MIA (Media Interface Adapter). Оба типа кабеля сегодня обеспечивают одинаковую скорость передачи данных. Медный кабель используется для коротких расстояний (до 30 метров), оптический - как для коротких, так и для расстояний до 10 км и больше. Используют многомодовый и одномодовый оптические кабели. Многомодовый (Multimode) кабель используется для коротких расстояний (до 2 км). Внутренний диаметр оптоволокна мультимодового кабеля составляет 62,5 или 50 микрон. Для обеспечения скорости передачи 100 МБ/с (200 МБ/с в дуплексе) при использовании многомодового оптоволокна длина кабеля не должна превышать 200 метров. Одномодовый кабель используется для больших расстояний. Длина такого кабеля ограничена мощностью лазера, который используется в передатчике сигнала. Внутренний диаметр оптоволокна одномодового кабеля составляет 7 или 9 микрон, он обеспечивает прохождение одиночного луча.

Коннекторы, адаптеры

Для подсоединения медных кабелей используются коннекторы типа DB-9 или HSSD. HSSD считается более надежным, но DB-9 используется так же часто, потому что он более простой и дешевый. Стандартным (наиболее распространенным) коннектором для оптических кабелей является SC коннектор, он обеспечивает качественное, четкое соединение. Для обычного подключения используются многомодовые SC коннекторы, а для отдаленного - одномодовые. В многопортовых адаптерах используются микроконнекторы.

Наиболее распространены адаптеры для FC под шину PCI 64 bit. Также много FC адаптеров вырабатывается под шину S-BUS, для специализированного использования выпускаются адаптеры под MCA, EISA, GIO, HIO, PMC, Compact PCI. Самые популярные - однопортовые, встречаются двух- и четырехпортовые карточки. На PCI адаптерах, как правило, используют DB-9, HSSD, SC коннекторы. Также часто встречаются GBIC-based адаптеры, которые поставляются как с модулями GBIC, так и без них. Fibre Channel адаптеры отличаются классами, которые они поддерживают, и разнообразными особенностями. Для понимания отличий приведем сравнительную таблицу адаптеров производства фирмы QLogic.

Fibre Channel Host Bus Adapter Family Chart
SANblade	64 Bit	FCAL Publ. Pvt Loop	FL Port	Class 3	F Port	Class 2	Point to Point	IP/ SCSI	Full Duplex	FC Tape	PCI 1.0 Hot Plug Spec	Solaris Dynamic Reconfig	VIВ	2Gb
2100 Series	33 & 66MHz PCI	X	X	X
2200 Series	33 & 66MHz PCI	X	X	X	X	X	X	X	X	X
	33MHz PCI	X	X	X	X	X	X	X	X	X	X
	25 MHZ Sbus	X	X	X	X	X	X	X	X	X		X
2300 Series	66 MHZ PCI/ 133MHZ PCI-X	X	X	X	X	X	X	X	X	X			X	X

Концентраторы

Fibre Channel HUBs (концентраторы) используются для подключения нод к FC кольцу (FC Loop) и имеют структуру, похожую на Token Ring концентраторы. Поскольку разрыв кольца может привести к прекращению функционирования сети, в современных FC концентраторах используются порты обхода кольца (PBC-port bypass circuit), которые разрешают автоматически открывать/закрывать кольцо (подключать/отключать системы, присоединенные к концентратору). Обычно FC HUBs поддерживают до 10 подключений и могут стекироваться до 127 портов на кольцо. Все устройства, подключенные к HUB, получают общую полосу пропускания, которую они могут разделять между собой.

Коммутаторы

Fibre Channel Switches (коммутаторы) имеют те же функции, что и привычные читателю LAN коммутаторы. Они обеспечивают полноскоростное неблокированное подключение между нодами. Любая нода, подключенная к FC коммутатору, получает полную (с возможностями масштабирования) полосу пропускания. При увеличении количества портов коммутированной сети ее пропускная способность увеличивается. Коммутаторы могут использоваться вместе с концентраторами (которые используют для участков, не требующих выделенной полосы пропуска для каждой ноды) для достижения оптимального соотношения цена/производительность. Благодаря каскадированию свичи потенциально могут использоваться для создания FC сетей с количеством адресов 2 24 (свыше 16 миллионов).

Мосты

FC Bridges (мосты или мультиплексоры) используются для подключения устройств с параллельным SCSI к сети на базе FC. Они обеспечивают трансляцию SCSI пакетов между Fibre Channel и Parallel SCSI устройствами, примерами которых могут служить Solid State Disk (SSD) или библиотеки на магнитных лентах. Следует заметить, что в последнее время практически все устройства, которые могут быть утилизированы в рамках SAN, производители начинают выпускать с вмонтированным FC интерфейсом для прямого их подключения к сетям хранения данных.

Серверы и Сторедж

Несмотря на то что серверы и сторедж - далеко не последние по важности компоненты SAN, мы на их описании останавливаться не будем, поскольку уверены, что с ними хорошо знакомы все наши читатели.

В конце хочется добавить, что эта статья - лишь первый шаг к сетям хранения данных. Для полного понимания темы читателю следует уделить немало внимания особенностям реализации компонент производителями SAN и программным средствам управления, поскольку без них Storage Area Network - это всего лишь набор элементов для коммутации сторедж-систем, которые не принесут вам полноты преимуществ от реализации сети хранения данных.

Заключение

Сегодня Storage Area Network является довольно новой технологией, которая в скором времени может стать массовой в кругу корпоративных заказчиков. В Европе и США предприятия, которые имеют достаточно большой парк инсталлированных сторедж-систем, уже начинают переходить на сети хранения данных для организации сторедж с наилучшим показателем общей стоимости владения.

По прогнозам аналитиков, в 2005 году значительное количество серверов среднего и верхнего уровня будут поставляться с предварительно установленным интерфейсом Fibre Channel (такую тенденцию можно заметить уже сегодня), и лишь для внутреннего подключения дисков в серверах будет использоваться параллельный SCSI интерфейс. Уже сегодня при построении сторедж-систем и приобретении серверов среднего и верхнего уровня следует обратить внимание на эту перспективную технологию, тем более, что уже сегодня она дает возможность реализовать ряд задач куда дешевле, чем с помощью специализированных решений. Кроме того, вкладывая в технологию SAN сегодня, вы не потеряете свои вложения завтра, поскольку особенности Fibre Channel создают прекрасные возможности для использования в будущем вложенных сегодня инвестиций.

P.S.

Предыдущая версия статьи была написана в июне 2000 года, но в связи с отсутствием массового интереса к технологии сетей хранения данных публикация была отложена на будущее. Это будущее настало сегодня, и я надеюсь, что данная статья побудит читателя осознать необходимость перехода на технологию сетей хранения данных, как передовую технологию построения сторедж-систем и организации доступа к данным.

В данной статье, мы рассмотрим, какие виды систем хранения данных (СХД) на сегодняшнее время существуют, так же рассмотрю одни из основных компонентов СХД – внешние интерфейсы подключения (протоколы взаимодействия) и накопители, на которых хранятся данные. Так же проведем их общее сравнение по предоставляемым возможностям. Для примеров мы буду ссылаться на линейку СХД, представляемую компанией DELL.

• Примеры моделей DAS
• Примеры моделей NAS
• Примеры моделей SAN
• Типы носителей информации и протокол взаимодействия с системами хранения данных Протокол Fibre Channel
• Протокол iSCSI
• Протокол SAS
• Сравнение протоколов подключения систем хранения данных

Существующие типы систем хранения данных

В случае отдельного ПК под системой хранения данных можно понимать внутренний жесткий диск или систему дисков (RAID массив). Если же речь заходит о системах хранения данных разного уровня предприятий, то традиционно можно выделить три технологии организации хранения данных:

• Direct Attached Storage (DAS);
• Network Attach Storage (NAS);
• Storage Area Network (SAN).

Устройства DAS (Direct Attached Storage) – решение, когда устройство для хранения данных подключено непосредственно к серверу, или к рабочей станции, как правило, через интерфейс по протоколу SAS.

Устройства NAS (Network Attached Storage) – отдельно стоящая интегрированная дисковая система, по-сути, NAS-cервер, со своей специализированной ОС и набором полезных функций быстрого запуска системы и обеспечения доступа к файлам. Система подключается к обычной компьютерной сети (ЛВС), и является быстрым решением проблемы нехватки свободного дискового пространства, доступного для пользователей данной сети.

Storage Area Network (SAN) –это специальная выделенная сеть, объединяющая устройства хранения данных с серверами приложений, обычно строится на основе протокола Fibre Channel или протокола iSCSI.

Теперь давайте более детально рассмотрим каждый из приведенных выше типов СХД, их положительные и отрицательные стороны.

Архитектура системы хранения DAS (Direct Attached Storage)

К основным преимуществам DAS систем можно отнести их низкую стоимость (в сравнении с другими решениями СХД), простоту развертывания и администрирования, а также высокую скорость обмена данными между системой хранения и сервером. Собственно, именно благодаря этому они завоевали большую популярность в сегменте малых офисов, хостинг-провайдеров и небольших корпоративных сетей. В то же время DAS-системы имеют и свои недостатки, к которым можно отнести неоптимальную утилизацию ресурсов, поскольку каждая DAS система требует подключения выделенного сервера и позволяет подключить максимум 2 сервера к дисковой полке в определенной конфигурации.

Рисунок 1: Архитектура Direct Attached Storage

• Достаточно низкая стоимость. По сути эта СХД представляет собой дисковую корзину с жесткими дисками, вынесенную за пределы сервера.
• Простота развертывания и администрирования.
• Высокая скорость обмена между дисковым массивом и сервером.

• Низкая надежность. При выходе из строя сервера, к которому подключено данное хранилище, данные перестают быть доступными.
• Низкая степень консолидации ресурсов – вся ёмкость доступна одному или двум серверам, что снижает гибкость распределения данных между серверами. В результате необходимо закупать либо больше внутренних жестких дисков, либо ставить дополнительные дисковые полки для других серверных систем
• Низкая утилизация ресурсов.

Примеры моделей DAS

Из интересных моделей устройств этого типа хотелось бы отметить модельный ряд DELL PowerVaultсерии MD. Начальные модели дисковых полок (JBOD) MD1000 и MD1120 позволяют создавать дисковые массивы c количеством диском до 144-х. Это достигается за счет модульности архитектуры, в массив можно подключить вплоть до 6 устройств, по три дисковых полки на каждый канал RAID-контроллера. Например, если использовать стойку из 6 DELL PowerVault MD1120, то реализуем массив с эффективным объемом данных 43,2 ТБ. Подобные дисковые полки подключаются одним или двумя кабелями SAS к внешним портам RAID-контроллеров, установленных в серверах Dell PowerEdge и управляются консолью управления самого сервера.

Если же есть потребность в создании архитектуры с высокой отказоустойчивостью, например, для создания отказоустойчивого кластера MS Exchange, SQL-сервера, то для этих целей подойдет модельDELL PowerVault MD3000. Это система уже имеет активную логику внутри дисковой полки и полностью избыточна за счет использования двух встроенных контроллеров RAID, работающих по схеме «актвиный-активный» и имеющих зеркалированную копию буферизованных в кэш-памяти данных.

Оба контроллера параллельно обрабатывают потоки чтения и записи данных, и в случае неисправности одного из них, второй «подхватывает» данные с соседнего контроллера. При этом подключение к низко уровнему SAS-контроллеру внутри 2-х серверов (кластеру) может производиться по нескольким интерфейсам (MPIO), что обеспечивает избыточность и балансировку нагрузки в средах Microsoft. Для наращивания дискового пространства к PowerVault MD3000 можно подключить 2-е дополнительные дисковые полки MD1000.

Архитектура системы хранения NAS (Network Attached Storage)

Технология NAS (сетевые подсистемы хранения данных, Network Attached Storage) развивается как альтернатива универсальным серверам, несущим множество функций (печати, приложений, факс сервер, электронная почта и т.п.). В отличие от них NAS-устройства исполняют только одну функцию — файловый сервер. И стараются сделать это как можно лучше, проще и быстрее.

NAS подключаются к ЛВС и осуществляют доступ к данным для неограниченного количества гетерогенных клиентов (клиентов с различными ОС) или других серверов. В настоящее время практически все NAS устройства ориентированы на использование в сетях Ethernet (Fast Ethernet, Gigabit Ethernet) на основе протоколов TCP/IP. Доступ к устройствам NAS производится с помощью специальных протоколов доступа к файлам. Наиболее распространенными протоколами файлового доступа являются протоколы CIFS, NFS и DAFS. Внутри подобных серверов стоят специализированные ОС, такие как MS Windows Storage Server.

Рисунок 2: Архитектура Network Attached Storage

• Дешевизна и доступность его ресурсов не только для отдельных серверов, но и для любых компьютеров организации.
• Простота коллективного использования ресурсов.
• Простота развертывания и администрирования
• Универсальность для клиентов (один сервер может обслуживать клиентов MS, Novell, Mac, Unix)

• Доступ к информации через протоколы “сетевых файловых систем” зачастую медленнее, чем как к локальному диску.
• Большинство недорогих NAS-серверов не позволяют обеспечить скоростной и гибкий метод доступа к данным на уровне блоков, присущих SAN системам, а не на уровне файлов.

Примеры моделей NAS

В настоящий момент классические NAS решения, такие как PowerVault NF100/500/600 . Это системы на базе массовых 1 и 2-х процессорных серверов Dell, оптимизированных для быстрого развертывания NAS-сервисов. Они позволяют создавать файловое хранилище вплоть до 10 ТБ (PowerVault NF600) используя SATA или SAS диски, и подключив данный сервер к ЛВС. Также имеются и более высокопроизводительные интегрированные решение, например PowerVault NX1950 , вмещающие в себя 15 дисков и расширяемые до 45 за счет подключения дополнительных дисковых полок MD1000.

Серьезным преимуществом NX1950 является возможность работать не только с файлами, но и с блоками данных на уровне протокола iSCSI. Также разновидность NX1950 может работать как «гейтвэй», позволяющий организовать файловый доступ к СХД на базе iSCSI (c блочным методом доступа), например MD3000i или к Dell EqualLogic PS5x00.

Архитектура системы хранения SAN (Storage Area Network)

Storage Area Network (SAN) — это специальная выделенная сеть, объединяющая устройства хранения данных с серверами приложений, обычно строится на основе протокола Fibre Channel, либо на набирающем обороты протоколу iSCSI. В отличие от NAS, SAN не имеет понятия о файлах: файловые операции выполняются на подключенных к SAN серверах. SAN оперирует блоками, как некий большой жесткий диск. Идеальный результат работы SAN — возможность доступа любого сервера под любой операционной системой к любой части дисковой емкости, находящейся в SAN. Оконечные элементы SAN — это серверы приложений и системы хранения данных (дисковые массивы, ленточные библиотеки и т. п.). А между ними, как и в обычной сети, находятся адаптеры, коммутаторы, мосты, концентраторы. ISCSI является более «дружелюбным» протоколом, поскольку он основан на использовании стандартной инфраструктуры Ethernet – сетевых карт, коммутаторов, кабелей. Более того, именно системы хранения данных на базе iSCSI являются наиболее популярными для виртуализированных серверов, в силу простоты настройки протокола.

Рисунок 3: Архитектура Storage Area Network

• Высокая надёжность доступа к данным, находящимся на внешних системах хранения. Независимость топологии SAN от используемых СХД и серверов.
• Централизованное хранение данных (надёжность, безопасность).
• Удобное централизованное управление коммутацией и данными.
• Перенос интенсивного трафика ввода-вывода в отдельную сеть, разгружая LAN.
• Высокое быстродействие и низкая латентность.
• Масштабируемость и гибкость логической структуры SAN
• Возможность организации резервных, удаленных СХД и удаленной системы бэкапа и восстановления данных.
• Возможность строить отказоустойчивые кластерные решения без дополнительных затрат на базе имеющейся SAN.

• Более высокая стоимость
• Сложность в настройке FC-систем
• Необходимость сертификации специалистов по FC-сетям (iSCSI является более простым протоколом)
• Более жесткие требования к совместимости и валидации компонентов.
• Появление в силу дороговизны DAS-«островов» в сетях на базе FC-протокола, когда на предприятиях появляются одиночные серверы с внутренним дисковым пространством, NAS-серверы или DAS-системы в силу нехватки бюджета.

Примеры моделей SAN

В настоящий момент имеется достаточно большой выбор дисковых массивов для построения SAN, начиная от моделей для малых и средних предприятий, такие как серия DELL AX, которые позволяют создавать хранилища емкостью до 60 Тбайт, и заканчивая дисковыми массивами для больших корпораций DELL/EMC серии CX4, они позволяют создать хранилища емкостью до 950 Тб. Есть недорогое решение на основе iSCSI, это PowerVault MD3000i – решение позволяет подключать до 16-32 серверов, в одно устройство можно установить до 15 дисков, и расширить систему двумя полками MD1000, создав массив на 45Тб.

Отдельного упоминания заслуживает система Dell EqualLogic на базе протокола iSCSI. Она позиционируется как СХД масштаба предприятия и сравнима по цене с системами Dell | EMC CX4, с модульной архитектурой портов, поддерживающих как FC протокол, так и iSCSI протокол. Система EqualLogic является одноранговой, т.е каждая дисковая полка имеет активные контроллеры RAID. При подключении этих массивов в единую систему, производительность дискового пула плавно растет с ростом доступного объема хранения данных. Система позволяет создать массивы более 500TB, настраивается менее, чем за час, и не требует специализированных знаний администраторов.

Модель лицензирования также отличается от остальных и уже включает в первоначальную стоимость все возможные опции моментальных копий, репликацию и средства интеграции в различные ОС и приложения. Эта система считается одной из наиболее быстрых систем в тестах для MS Exchange (ESRP).

Типы носителей информации и протокол взаимодействия с СХД

Определившись с типом СХД, который Вам наиболее подходит для решения тех или иных задач, необходимо перейти к выбору протокола взаимодействия с СХД и выбору накопителей, которые будут использоваться в системе хранения.

В настоящий момент для хранения данных в дисковых массивах используются SATA и SAS диски. Какие диски выбрать в хранилище зависит от конкретных задач. Стоит отметить несколько фактов.

SATA II диски:

• Доступны объемы одного диска до 1 ТБ
• Скорость вращения 5400-7200 RPM
• Скорость ввода/вывода до 2,4 Гбит/с
• Время наработки на отказ примерно в два раза меньше чем у SAS дисков.
• Менее надежные, чем SAS диски.
• Дешевле примерно в 1,5 раза, чем SAS-диски.

• Доступны объемы одного диска до 450 ГБ
• Скорость вращения 7200 (NearLine), 10000 и 15000 RPM
• Скорость ввода/вывода до 3,0 Гбит/с
• Время наработки на отказ в два раза больше чем у SATA II дисков.
• Более надежные диски.

Важно! В прошлом году начался промышленный выпуск SAS дисков с пониженной скоростью вращения – 7200 rpm (Near-line SAS Drive). Это позволило повысить объем хранимых данных на одном диске до 1 ТБ и снизить энергопторебление дисков со скоростным интерфейсом. При том, что стоимость таких дисков сравнима со стоимостью дисков SATA II, а надежность и скорость ввода/вывода осталась на уровне SAS дисков.

Таким образом, в настоящий момент стоит действительно серьезно задуматься над протоколами хранения данных, которые вы собираетесь использовать в рамках корпоративной СХД.

До недавнего времени основными протоколами взаимодействия с СХД являлись – FibreChannel и SCSI. Сейчас на смену SCSI, расширив его функционал, пришли протоколы iSCSI и SAS. Давайте ниже рассмотрим плюсы и минусы каждого из протоколов и соответствующих интерфейсов подключения к СХД.

Протокол Fibre Channel

На практике современный Fibre Channel (FC) имеет скорости 2 Гбит/Сек (Fibre Channel 2 Gb), 4 Гбит/Сек (Fibre Channel 4 Gb) full- duplex или 8 Гбит/Сек, то есть такая скорость обеспечивается одновременно в обе стороны. При таких скоростях расстояния подключения практически не ограничены – от стандартных 300 метров на самом «обычном» оборудовании до нескольких сотен или даже тысяч километров при использовании специализированного оборудования. Главный плюс протокола FC – возможность объединения многих устройств хранения и хостов (серверов) в единую сеть хранения данных (SAN). При этом не проблема распределенности устройств на больших расстояниях, возможность агрегирования каналов, возможность резервирования путей доступа, «горячего подключения» оборудования, большая помехозащищенность. Но с другой стороны мы имеем высокую стоимость, и высокую трудоемкость инсталляции и обслуживания дисковых массивов использующих FC.

Важно! Следует разделять два термина протокол Fibre Channel и оптоволоконный интерфейс Fiber Channel. Протокол Fibre Сhannel может работать на разных интерфейсах — и на оптоволоконном соединении с разной модуляцией, и на медных соединениях.

• Гибкая масштабируемость СХД;
• Позволяет создавать СХД на значительных расстояниях (но меньших, чем в случае iSCSI протокола; где, в теории, вся глобальная IP сеть может выступать носителем.
• Большие возможности резервирования.

• Высокая стоимость решения;
• Еще более высокая стоимость при организации FC-сети на сотни или тысячи километров
• Высокая трудоемкость при внедрении и обслуживании.

Важно! Помимо появления протокола FC8 Гб/c, ожидается появление протокола FCoE (Fibre Channel over Ethernet), который позволит использовать стандартные IP сети для организации обмена пакетами FC.

Протокол iSCSI

Протокол iSCSI (инкапсуляция SCSI пакетов в протокол IP) позволяет пользователям создать сети хранения данных на базе протокола IP с использованием Ethernet-инфраструктуры и портов RJ45. Таким образом, протокол iSCSI дает возможность обойти те ограничения, которыми характеризуются хранилища данных с непосредственным подключением, включая невозможность совместного использования ресурсов через серверы и невозможность расширения емкости без отключения приложений. Скорость передачи на данный момент ограничена 1 Гб/c (Gigabit Ethernet), но данная скорость является достаточной для большинства бизнес-приложений масштаба средних предприятий и это подтверждают многочисленные тесты. Интересно то, что важна не столько скорость передачи данных на одном канале, сколько алгоритмы работы RAID контроллеров и возможность агрегации массивов в единый пул, как в случае с DELL EqualLogic, когда используются по три 1Гб порта на каждом массиве, и идет балансировка нагрузки среди массивов одной группы.

Важно отметить, что сети SAN на базе протокола iSCSI обеспечивают те же преимущества, что и сети SAN с использованием протокола Fibre Channel, но при этом упрощаются процедуры развертывания и управления сетью, и значительно снижаются стоимостные затраты на данную СХД.

• Высокая доступность;
• Масштабируемость;
• Простота администрирования, так как используется технология Ethernet;
• Более низкая цена организации SAN на протоколе iSCSI, чем на FC.
• Простота интеграции в среды виртуализации

• Есть определенные ограничения по использованию СХД с протоколом iSCSI с некоторыми OLAP и OLTP приложениями, с системами Real Time и при работе с большим числом видеопотоков в HD формате
• Высокоуровневые СХД на базе iSCSI, также как и CХД c FC-протоколом, требуют использования быстрых, дорогостоящих Ethernet-коммутаторов
• Рекомендуется использование либо выделенных Ethernet коммутаторов, либо организация VLAN для разделения потоков данных. Дизайн сети является не менее важной частью проекта, чем при разработке FC-сетей.

Важно! В скором времени производители обещают выпустить в серийное производство SAN на базе протокола iSCSI с поддержкой скоростей передачи данных до 10 Гб/c. Также готовится финальная версия протокола DCE (Data Center Ethernet), массовое появление устройств, поддерживающих протокол DCE, ожидается к 2011 году.

C точки зрения используемых интерфейсов, протокол iSCSI задействует интерфейсы Ethernet 1Гбит/C, а ими могут быть как медные, так оптоволоконные интерфейсы при работе на больших расстояниях.

Протокол SAS

Протокол SAS и одноименный интерфейс разработаны для замены параллельного SCSI и позволяет достичь более высокой пропускной способности, чем SCSI. Хотя SAS использует последовательный интерфейс в отличие от параллельного интерфейса, используемого традиционным SCSI, для управления SAS-устройствами по-прежнему используются команды SCSI. SAS позволяет обеспечить физическое подключение между массивом данных и несколькими серверами на небольшие расстояния.

• Приемлемая цена;
• Легкость консолидации хранилищ – хотя СХД на базе SAS не может подключаться к такому количеству хостов (серверов), как SAN конфигурации которые используют протоколы FC или iSCSI, но при использовании протокола SAS не возникает трудностей с дополнительным оборудованием для организации общего хранилища для нескольких серверов.
• Протокол SAS позволяет обеспечить большую пропускную способность с помощью 4 канальных соединений внутри одного интерфейса. Каждый канал обеспечивает 3 Гб/c , что позволяет достичь скорости передачи данных 12 Гб/с (в настоящий момент это наивысшая скорость передачи данных для СХД).

• Ограниченность досягаемости – длинна кабеля не может превышать 8 метров. Тем самым хранилища с подключением по протоколу SAS, будут оптимальны только тогда когда серверы и массивы будут расположены в одной стойке или в одной серверной;
• Количество подключаемых хостов (серверов) как правило, ограничено несколькими узлами.

Важно! В 2009 году ожидается появление технологии SAS со скоростью передачи данных по одному каналу – 6 Гбит/c, что позволит значительно увеличить привлекательность использования данного протокола.

Сравнение протоколов подключения СХД

Ниже приведена сводная таблица сравнения возможностей различных протоколов взаимодействия с СХД.

Параметр	Протоколы подключения СХД
Архитектура	SCSI команды инкапсулируются в IP пакет и передаются через Ethernet, последовательная передача	Последовательная передача SCSI команд	Коммутируемая
Растояние между дисковым массивом и узлом (сервер или свитч)	Ограничено лишь расстоянием IP cетей.	Не более 8 метров между устройствами.	50.000 метров без использования специализрованных рипитеров
Масштабируемость	Миллионы устройств – при работе по протоколу IPv6.	32 устройства	256 устройств 16 миллионов устройств, если использовать FC-SW (fabric switches) архитектура
Производительность	1 Гб/с (планируется развитие до 10 Гб/с)	3 Гб/с при использовании 4х портов, до 12 Гб/с (в 2009 году до 6 Гб/с по одному порту)	До 8 Гб/с
Уровень вложений (затрат на внедрение)	Незначительный – используется Ethernet	Средний	Значительный

Таким образом, представленные решения на первый взгляд достаточно четко разделяются по соответствию требованиям заказчиков. Однако на практике все не так однозначно, включаются дополнительные факторы в виде ограничений по бюджетам, динамики развития организации (и динамики увеличения объема хранимой информации), отраслевая специфика и т.д.

В этой статье речь пойдет о системах хранения данных начального и среднего уровня, а также тех тенденциях, которые сегодня ярко выделяются в этой отрасли. Для удобства будем называть системы хранения данных накопителями.

Сначала мы немного остановимся на терминологии и технологических основах автономных накопителей, а потом перейдём к новинкам и обсуждению современных достижений в разных технологических и маркетинговых группах. Мы также обязательно расскажем о том, зачем нужны системы того или иного вида и насколько эффективным является их использование в разных ситуациях.

Автономные дисковые подсистемы

Для того, чтобы лучше понять особенности автономных накопителей, остановимся немного на одной из более простых технологий построения систем хранения данных - шинно-ориентированной технологии. Она предусматривает использование корпуса для дисковых накопителей и контроллера PCI RAID.

Рисунок 1. Шинно-ориентированная технология постоения систем хранения данных

Таким образом, между дисками и PCI-шиной хоста (от англ. Host - в данном случае автономный компьютер, например сервер или рабочая станция) есть только один контроллер, который в значительной мере и задает быстродействие системы. Накопители, построенные по этому принципу, являются наиболее производительными. Но в связи с архитектурными особенностями практическое их использование, за исключением редких случаев, ограничивается конфигурациями с одним хостом.

К недостаткам шинно-ориентированной архитектуры накопителей следует отнести:

• эффективное использование только в конфигурациях с одним хостом;
• зависимость от операционной системы и платформы;
• ограниченную масштабируемость;
• ограниченные возможности по организации отказоустойчивых систем.

Естественно, всё это неважно, если данные нужны для одного сервера или рабочей станции. Наоборот, в такой конфигурации вы получите максимальное быстродействие за минимальные деньги. Но если вам нужна система хранения данных для большого вычислительного центра или даже для двух серверов, которым нужны одни и те же данные, шинно-ориентированная архитектура совершенно не подходит. Недостатков этой архитектуры позволяет избежать архитектура автономных дисковых подсистем. Основной принцип ее построения достаточно прост. Контроллер, который управляет системой, переносится из хост-компьютера в корпус накопителя, обеспечивая независимое от хост-систем функционирование. Следует отметить, что такая система может иметь большое количество внешних каналов ввода/вывода, что обеспечивает возможность подключения к системе нескольких, или даже многих компьютеров.

Рисунок 2. Автономная система хранения данных

Любая интеллектуальная система хранения данных состоит из аппаратной части и программного кода. В автономной системе всегда есть память, в которой хранится программа алгоритмов работы самой системы и процессорные элементы, которые этот код обрабатывают. Такая система функционирует независимо от того, с какими хост-системами она связана. Благодаря своей интеллектуальности автономные накопители зачастую самостоятельно реализуют множество функций по обеспечению сохранности и управлению данными. Одна из самых важных базовых и практически повсеместно используемых функций - это RAID (Redundant Array of Independent Disks). Другая, принадлежащая уже системам среднего и высокого уровня - это виртуализация. Она обеспечивает такие возможности как мгновенная копия или удаленное резервирование, а также другие, достаточно изощрённые алгоритмы.

Коротко о SAS, NAS, SAN

В рамках рассмотрения автономных систем хранения данных обязательно следует остановиться на том, каким образом осуществляется доступ хост-систем к накопителям. Это в значительной мере определяет сферы их использования и внутреннюю архитектуру.

Различают три основных варианта организации доступа к накопителям:

• SAS (Server Attached Storage) - накопитель, подсоединенный к серверу [ второе название DAS (Direct Attached Storage) - напрямую подсоединённый накопитель ];
• NAS (Network Attached Storage) - накопитель, подсоединенный к сети;
• SAN (Storage Area Network) - сеть хранения данных.

Мы уже писали о технологиях SAS/DAS, NAS и SAN в статье посвященной SAN, если кого эта информация заинтересует, рекомендуем обратиться к страницам iXBT . Но всё же позволим себе немножко освежить материал с акцентом на практическое использование.

SAS/DAS - это достаточно простой традиционный способ подключения, который подразумевает прямое (отсюда и DAS) подсоединение системы хранения к одной или нескольким хост-системам через высокоскоростной канальный интерфейс. Часто в таких системах, для подсоединения накопителя к хосту используется такой же интерфейс, который используется для доступа к внутренним дискам хост-системы, что в общем случае обеспечивает высокое быстродействие и простое подключение.

SAS-систему можно рекомендовать к использованию в случае, если имеется потребность в высокоскоростной обработке данных больших объемов на одной или нескольких хост-системах. Это, например, может быть файл-сервер, графическая станция или отказоустойчивая кластерная система, состоящая из двух узлов.

Рисунок 3. Кластерная система с общим накопителем

NAS - накопитель, который подсоединен к сети и обеспечивает файловый (обратите внимание - файловый, а не блочный) доступ к данным для хост-систем в сети LAN/WAN. Клиенты, которые работает с NAS, для доступа к данным обычно используют протоколы NSF (Network File System) или CIFS (Common Internet File System). NAS интерпретирует команды файловых протоколов и исполняет запрос к дисковым накопителям в соответствии с используемым в нём канальным протоколом. Фактически, архитектура NAS - это эволюция файловых серверов. Главным преимуществом такого решения является быстрота развёртывания и качество организации доступа к файлам, благодаря специализации и узкой направленности.

Исходя из сказанного, NAS можно рекомендовать для использования в случае, если нужен сетевой доступ к файлам и достаточно важными факторами являются: простота решения (что обычно является неким гарантом качества) и простота его сопровождения и установки . Прекрасным примером является использование NAS в качестве файл-сервера в офисе небольшой компании, для которой важна простота установки и администрирования. Но в то же время, если вам нужен доступ к файлам с большого количества хост-систем, мощный NAS-накопитель, благодаря отточенному специализированному решению, способен обеспечить интенсивный обмен трафиком с огромным пулом серверов и рабочих станций при достаточно низкой стоимости используемой коммуникационной инфраструктуры (например, коммутаторов Gigabit Ethernet и медной витой пары).

SAN - сеть хранения данных. Обычно в SAN используется блочный доступ к данным, хотя возможно подключение к сетям хранения данных устройств, предоставляющих файловые сервисы, например NAS. В современных реализациях сети хранения данных чаще всего используют протокол Fibre Channel, но в общем случае это не является обязательным, в связи с чем, принято выделять отдельный класс Fibre Channel SAN (сети хранения данных на основе Fibre Channel).

Основой SAN является отдельная от LAN/WAN сеть, которая служит для организации доступа к данным серверов и рабочих станций, непосредственно занимающихся обработкой. Такая структура делает построение систем с высокой готовностью и высокой интенсивностью запросов относительно простой задачей. Несмотря на то, что SAN сегодня остается дорогим удовольствием, TCO (общая стоимость владения) для средних и больших систем, построенных с использованием технологии сетей хранения данных, является довольно низкой. Описание способов снижения TCO корпоративных систем хранения данных благодаря SAN можно найти на страницах ресурса techTarget: http://searchstorage.techtarget.com .

Сегодня стоимость дисковых накопителей с поддержкой Fibre Channel, как наиболее распространенного интерфейса для построения SAN, близка к стоимости систем с традиционными недорогими канальными интерфейсами (такими как параллельный SCSI). Главными стоимостными составляющими в SAN остается коммуникационная инфрастуктура, а также стоимость ее развёртывания и сопровождения. В связи с чем, в рамках SNIA и многих коммерческих организациях ведётся активная работа над технологиями IP Storage, что позволяет использовать значительно более недорогую аппаратуру и инфраструктуру IP-сетей, а также колоссальный опыт специалистов в этой сфере.

Примеров по эффективному использованию SAN можно привести достаточно много. Практически везде, где имеется необходимость использования нескольких серверов с совместной системой хранения данных, можно использовать SAN. Например, для организации коллективной работы над видеоданными или предварительной обработки печатной продукции. В такой сети каждый участник процесса обработки цифрового контента получает возможность практически одновременно работать над Терабайтами данных. Или, например, организация резервирования больших объемов данных, которыми пользуется множество серверов. При построении SAN и использовании независимого от LAN/WAN алгоритма резервирования данных и технологий «моментальной копии», можно резервировать почти любые объёмы информации без ущерба функциональности и производительности всего информационного комплекса.

Fibre Channel в сетях хранения данных

Безусловным фактом является то, что сегодня именно FC (Fibre Channel) доминирует в сетях хранения данных. И именно развитие этого интерфейса привело к развитию самой концепции SAN.

В проектировании FC принимали участие специалисты со значительным опытом в разработке как канальных, так и сетевых интерфейсов, и им удалось объединить все важные положительные черты обоих направлений. Одним из важнейших преимуществ Fibre Channel наряду со скоростными параметрами (которые, кстати, не всегда являются главными для пользователей SAN, и могут быть реализованы с помощью других технологий) является возможность работы на больших расстояниях и гибкость топологии, которая пришла в новый стандарт из сетевых технологий. Таким образом, концепция построения топологии сети хранения данных базируется на тех же принципах, что и традиционные локальные сети, на основе концентраторов, коммутаторов и маршрутизаторов, что значительно упрощает построение многоузловых конфигураций систем, в том числе без единой точки отказов.

Стоит также отметить, что в рамках Fibre Channel для передачи данных используются как оптоволоконные, так и медные среды. При организации доступа к территориально удаленным узлам на расстоянии до 10 киллометров используется стандартная аппаратура и одномодовое оптоволокно для передачи сигнала. Если же узлы разнесены на 10-ки или даже 100-ни километров используются специальные усилители. При построении таких SAN учитываются достаточно нетрадиционные для систем хранения данных параметры, например, скорость распространения сигнала в оптоволокне.

Тенденции развития систем хранения данных

Мир систем хранения данных чрезвычайно разнообразен. Возможности систем хранения данных, так и стоимость решений достаточно дифференцирована. Существуют решения, объединяющие в себе возможности обслуживания сотен тысяч запросов в секунду к десяткам и даже сотням Терабайт данных, а также решения для одного компьютера с недорогими дисками с IDE-интерфейсом.

IDE RAID

В последнее время максимальный объем дисков с IDE-интерфейсом колоссально увеличился и опережает SCSI-диски примерно в два раза, а если говорить о соотношении цена на единицу объёма, то IDE-диски лидируют с разрывом более чем в 6 раз. Это, к сожалению, не повлияло положительно на надежность IDE-дисков, но всё же сфера их применения в автономных системах хранения данных неумолимо увеличивается. Главным фактором в этом процессе является то, что потребность в больших объёмах данных растёт быстрее, чем объем одиночных дисков.

Еще несколько лет назад редкие производители решались выпускать автономные подсистемы, ориентированные на использование IDE-дисков. Сегодня их выпускает практически каждый производитель, ориентированный на рынок систем начального уровня. Наибольшее распространение в классе автономных подсистем с IDE-дисками наблюдается в NAS-системах начального уровня. Ведь если вы используете NAS в качестве файлового сервера с интерфейсом Fast Ethernet или даже Gigabit Ethernet, то в большинстве случаев быстродействия таких дисков является более чем достаточным, а их низкая надёжность компенсируется использованием технологии RAID.

Там, где необходим блочный доступ к данным при минимальной цене за единицу хранимой информации, сегодня активно используются системы с IDE-дисками внутри и с внешним SCSI-интерфейсом. Например, на системе JetStor IDE производства американской компании AC&NC для построения отказоустойчивого архива с объёмом хранимых данных в 10 Терабайт и возможностью быстрого блочного доступа к данным стоимость хранения одного Мегабайта будет составлять меньше 0,3 цента.

Ещё одной интересной и достаточно оригинальной технологией, с которой пришлось познакомиться совсем недавно, была система Raidsonic SR-2000 с внешним параллельным IDE-интерфейсом.

Рисунок 4. Автономный IDE RAID начального уровня

Это автономная дисковая система, рассчитанная на использование двух IDE дисков и ориентированная на монтаж внутри корпуса хост-системы. Она абсолютно независима от операционной системы на хост-машине. Система позволяет организовать RAID 1 (зеркало) или просто копирование данных с одного диска на другой с возможностью горячей замены дисков, без какого-либо ущерба или неудобства со стороны пользователя компьютера, чего не скажешь о шинно-ориентированых подсистемах, построенных на контроллерах PCI IDE RAID.

Следует заметить, что ведущие производители IDE-дисков анонсировали выпуск дисков среднего класса с интерфейсом Serial ATA, в которых будут использоваться высокоуровневые технологии. Это должно благоприятно повлиять на их надежность и увеличить долю ATA-решений в системах хранения данных.

Что нам принесёт Serial ATA

Первое и самое приятное, что можно найти в Serial ATA - это кабель. В связи с тем, что интерфейс ATA стал последовательным, кабель стал круглым, а коннектор - узким. Если вам приходилось укладывать кабели параллельного IDE-интерфейса в системе на восемь IDE-каналов, я уверен, что вам понравится эта особенность. Конечно, уже давно существовали круглые IDE-кабели, но коннектор у них всё же оставался широким и плоским, да и максимально допустимая длина параллельного ATA-кабеля не радует. При построении систем с большим количеством дисков, наличие стандартного кабеля вообще не сильно помогает, так как кабели приходится делать самостоятельно, и при этом их укладка становится едва ли не главной по времени задачей при сборке.

Кроме особенности кабельной системы, в Serial ATA есть другие нововведения, которые для параллельной версии интерфейса реализовать самостоятельно с помощью канцелярского ножа и другого подручного инструмента не удастся. В дисках с новым интерфейсом скоро должна появиться поддержка набора инструкций Native Command Queuing (конвейеризации команд). При использовании Native Command Queuing, контроллер Serial ATA анализирует запросы ввода-вывода и оптимизирует очередность их выполнения таким образом, чтобы минимизировать время поиска. Достаточно очевидна схожесть идеи Serial ATA Native Command Queuing с организацией очереди команд в SCSI, правда, для Serial ATA будет поддерживаться очередь до 32 команд, а не традиционных для SCSI - 256. Появилась также родная поддержка горячей замены устройств. Конечно, такая возможность существовала и ранее, но её реализация была за рамками стандарта и, соответственно, не могла получить широкое распространение. Говоря о новых скоростных возможностях Serial ATA, следует заметить, что сейчас от них радости пока большой нет, но главное здесь то, что на будущее есть хороший Roadmap, реализовать который в рамках параллельного ATA было бы очень не просто.

Учитывая сказанное, можно не сомневаться, что доля ATA-решений в системах хранения начального уровня должна увеличиться именно за счёт новых дисков Serial ATA и систем хранения данных, ориентированных на использование таких устройств.

Куда идет параллельный SCSI

Все, кто работает с системами хранения данных, даже начального уровня, вряд ли могут сказать, что им нравятся системы с IDE-дисками. Главное преимущество ATA дисков - их низкая цена, по сравнению со SCSI-устройствами ну и еще, наверное, более низкий уровень шума. И происходит всё это по простой причине, так как SCSI-интерфейс лучше подходит для использования в системах хранения данных и пока значительно дешевле, чем еще более функциональный интерфейс - Fibre Channel, то и диски со SCSI-интерфейсом производятся более качественные, надёжные и быстрые, чем с дешёвым IDE-интерфейсом.

Сегодня многие производители при проектировании систем хранения с параллельным SCSI используют Ultra 320 SCSI, самый новый интерфейс в семействе. Некогда во многих Roadmap были планы по выпуску устройств с интерфейсом Ultra 640 и даже Ultra 1280 SCSI, но всё шло к тому, что в интерфейсе нужно что-то менять кардинальным образом. Параллельный SCSI уже сейчас, на этапе использования Ultra 320, многих не устраивает, главным образом по причине неудобства использования классических кабелей.

К счастью, недавно появился новый интерфейс Serial Attached SCSI (SAS). У нового стандарта будут интересные особенности. Он объединяет в себе некоторые возможности Serial ATA и Fibre Channel. Несмотря на эту странность, следует сказать, что в таком переплетении есть некий здравый смысл. Стандарт возник на основе физических и электрических спецификаций последовательного ATA с такими усовершенствованиями, как увеличение уровня сигнала для соответствующего увеличения длинны кабеля, увеличение максимальной адресуемости устройств. А самое интересное то, что технологи обещают обеспечить совместимость устройств Serial ATA и SAS, но только в следующих версиях стандартов.

К наиболее важным особенностям SAS можно отнести:

• интерфейс точка-точка;
• двухканальный интерфейс;
• поддержка 4096 устройств в домене;
• стандартный набор команд SCSI;
• кабель длинной до 10 метров;
• кабель 4-жильный;
• полный дуплекс.

Благодаря тому, что новый интерфейс предлагает использовать такой же миниатюрный коннектор, как и Serial ATA, у разработчиков появляется новая возможность по построению более компактных устройств с высокой производительностью. Стандарт SAS также предусматривает использование расширителей. Каждый расширитель будет поддерживать адресацию 64-х устройств с возможностью каскадирования до 4096 устройств в рамках домена. Это конечно значительно меньше, чем возможности Fibre Channel, но в рамках систем хранения начального и среднего уровней, с накопителями, напрямую подсоединенными к серверу, этого вполне достаточно.

Несмотря на все прелести, интерфейс Serial Attached SCSI вряд ли быстро заместит обычный параллельный интерфейс. В мире решений для предприятий разработки обычно ведутся более тщательно и, естественно, в течение большего времени, чем для настольных систем. Да и уходят старые технологии не очень быстро, так как период, за который они отрабатывают себя, тоже немаленький. Но всё же, в году 2004 устройства с интерфейсом SAS должны выйти на рынок. Естественно, сначала это будут в основном диски и PCI-контролеры, но ещё через годик подтянутся и системы хранения данных.

Для лучшего обобщения информации предлагаем ознакомиться со сравнением современных и новых интерфейсов для систем хранения данных в виде таблицы.

1 - Стандарт регламентирует расстояние до 10 км для одномодового оптоволокна, существуют реализации устройств для передачи данных на расстояние больше чем, 105 м.

2 - В рамках внутренней виртуальной топологии кольца работают концентраторы и некоторые коммутаторы FC, также существует много реализаций коммутаторов, которые обеспечивают соединение точка-точка любых устройств, подсоединенных к ним.

3 - Cуществуют реализации устройств со SCSI, FICON, ESCON, TCP/I, HIPPI, VI протоколами.

4 - Дело в том, что устройства будут взаимно совместимы (так обещают сделать в ближайшем будущем производители). То есть SATA-контроллеры будут поддерживать SAS-диски, а SAS-контроллеры - диски SATA.

Массовое увлечение NAS

Последнее время за рубежом отмечается просто-таки массовое увлечение NAS-накопителями. Дело в том, что с увеличением актуальности ориентированного на данные подхода к построению информационных систем увеличилась привлекательность специализации классических файл-серверов и формирование новой маркетинговой единицы - NAS. При этом опыт в построении подобных систем был достаточным для быстрого старта технологии накопителей, подсоединенных к сети, а стоимость их аппаратной реализации была предельно низкой. Сегодня NAS-накопители производят фактически все производители систем хранения данных, среди них и системы начального уровня за очень маленькие деньги, и среднего, и даже системы, отвечающие за хранение десятков Терабайт информации, способные обработать колоссальное количество запросов. В каждом классе NAS-систем есть свои интересные оригинальные решения.

NAS на основе PC за 30 минут

Мы хотим немного описать одно оригинальное решение начального уровня. О практической ценности его реализации можно спорить, но в оригинальности ему не откажешь.

По сути дела, NAS-накопитель начального уровня, да и не только начального, является достаточно простым персональным компьютером с неким количеством дисков и программной частью, которая обеспечивает доступ других участников сети к данным на файловом уровне. Таким образом, для построения NAS устройства достаточно взять указанные компоненты и соединить их между собой. Все дело в том, насколько качественно вы это сделаете, настолько же надежный и качественный доступ к данным получит рабочая группа, работающая с данными, доступ к которым обеспечивает ваше устройство. Именно учитывая эти факторы, а также время развёртывания решения, плюс некоторые дизайнерские изыскания строится NAS-накопитель начального уровня.

Разница между хорошим NAS-решением начального уровня с самостоятельно собранной и настроенной в рамках выбранной ОС персоналкой, если опять-таки опустить конструктивное исполнение, будет в том:

• насколько быстро вы это сделаете;
• насколько просто сможет обслуживаться эта система неквалифицированным персоналом;
• насколько качественно это решение будет работать и поддерживаться.

Другими словами, в случае профессионального подбора комплектующих и существования некого изначально настроенного набора программного обеспечения, можно достичь хорошего результата. Истина вроде банальная, это же можно сказать о любой задаче, которая решается по схеме готовых компонентных решений: «hardware» плюс «software».

Что предлагает сделать компания «X»? Формируется достаточно ограниченый список совместимых комплектующих: материнских плат со всем интегрированным хозяйством, нужных NAS-серверу начального уровня жёстких дисков. Вы покупаете устанавливаемый в IDE-разъём на материнской плате FLASH диск с записанным программным обеспечением и получаете готовый NAS накопитель. Операционная система и утилиты, записанные на этот диск, загружаясь, конфигурируют нужные модули адекватным образом. И в результате пользователь получает устройство, которое может управляться как локально, так и удаленно через HTML-интерфейс и предоставлять доступ к дисковым накопителям, подключённым к нему.

Файловые протоколы в современных NAS

CIFS (Common Internet File System) - это стандартный протокол, который обеспечивает доступ к файлам и сервисам на удаленных компьютерах (в том числе и в Интернет). Протокол использует клиент-серверную модель взаимодействия. Клиент создает запрос к серверу на доступ к файлам или передачу сообщения программе, которая находится на сервере. Сервер выполняет запрос клиента и возвращает результат своей работы. CIFS - это открытый стандарт, который возник на основе SMB-протокола (Server Message Block Protocol), разработанного Microsoft, но, в отличие от последнего, CIFS учитывает возможность возникновения больших таймаутов, так как ориентирован на использование в том числе и в распределённых сетях. SMB-протокол традиционно использовался в локальных сетях с ОС Windows для доступа к файлам и печати. Для транспортировки данных CIFS использует TCP/IP протокол. CIFS обеспечивает функциональность похожую на FTP (File Transfer Protocol), но предоставляет клиентам улучшенный (похожий на прямой) контроль над файлами. Он также позволяет разделять доступ к файлам между клиентами, используя блокирование и автоматическое восстановление связи с сервером в случае сбоя сети.

NFS (Network File System) - это стандарт IETF, который включает в себя распределенную файловую систему и сетевой протокол. NFS был разработан компанией Sun Microsystem Computer Corporation. Он первоначально использовался только в UNIX-системах, позже реализации клиентской и серверной чатей стали распространенными и в других системах.

NFS, как и CIFS, использует клиент-серверную модель взаимодействия. Он обеспечивает доступ к файлам на удаленном компьютере (сервере) для записи и считывания так, как если бы они находились на компьютере пользователя. В ранних версиях NFS для транспортирования данных использовался UDP-протокол, в современных - используется TCP/IP. Для работы NFS в интерент компанией Sun был разработан протокол WebNFS, который использует расширения функциональности NFS для его корректной работы во всемирной сети.

DAFS (Direct Access File System) - это стандартный протокол файлового доступа, который базируется на NFSv4. Он позволяет прикладным задачам передавать данные в обход операционной системы и ее буферного пространства напрямую к транспортным ресурсам, сохраняя семантику, свойственную файловым системам. DAFS использует преимущества новейших технологий передачи данных по схеме память-память. Его использование обеспечивает высокие скорости файлового ввода-вывода, минимальную загрузку CPU и всей системы, благодаря значительному уменьшению количества операций и прерываний, которые обычно необходимы при обработке сетевых протоколов. Особенно эффективным является использование аппаратных средств поддержки VI (Virtual Interface).

DAFS проектировался с ориентацией на использование в кластерном и серверном окружении для баз данных и разнообразных интернет-приложений, ориентированных на непрерывную работу. Он обеспечивает наименьшие задержки доступа к общим файловым ресурсам и данным, а также поддерживает интеллектуальные механизмы восстановления работоспособности системы и данных, что делает его очень привлекательным для использования в High-End NAS-накопителях.

Все дороги ведут к IP Storage

В системах хранения данных высокого и среднего уровня за последние несколько лет появилось очень много новых интересных технологий.

Fibre Channel сети хранения данных сегодня уже достаточно известная и популярная технология. В то же время, их массовое распространение сегодня является проблематичным из-за ряда особенностей. К ним можно отнести высокую стоимость реализации и сложность построения географически распределённых систем. С одной стороны - это всего лишь особенности технологии уровня предприятия, но с другой, если SAN станет дешевле, и построение распределённых систем упростится, это должно дать просто-таки колоссальный прорыв в развитии сетей хранения данных.

В рамках работы над сетевыми технологиями хранения данных в Internet Engineering Task Force (IETF) была создана рабочая группа и форум IP Storage (IPS) по направлениям:

FCIP - Fibre Channel over TCP/IP, созданный на базе TCP/IP туннельный протокол, функцией которого является соединение географически удаленных FC SAN без какого либо воздействия на FC и IP протоколы.

iFCP - Internet Fibre Channel Protocol, созданный на базе TCP/IP протокол для соединения FC систем хранения данных ли FC сетей хранение данных, используя IP инфраструктуру совместно или вместо FC коммутационных и маршрутизирующих элементов.

iSNS - Internet Storage Name Service, протокол поддержке имён накопителей в сети Интернет.

iSCSI - Internet Small Computer Systems Interface, это протокол, который базируется на TCP/IP и разработан для установления взаимодействия и управления системами хранения данных, серверами и клиентами (Определение SNIA - IP Storage Forum: ).

Самым бурно развивающимся и самым интересным из перечисленных направлений является iSCSI.

iSCSI - новый стандарт

11 февраля 2003 года iSCSI стал официальным стандартом. Ратификация iSCSI обязательно повлияет на более широкий интерес к стандарту, который уже развивается достаточно активно. Быстрее всего развитие iSCSI послужит толчком к распространению SAN в малом и среднем бизнесе, так как использование соответствующего стандарту оборудования и подхода к обслуживанию (в том числе распространённого в рамках стандартных Ethernet сетей) позволит сделать сети хранения данных значительно дешевле. Что же касается использования iSCSI в Интернет, то сегодня здесь уже неплохо прижился FCIP, и конкуренция с ним будет трудной.

Новый стандарт охотно поддержали известные IT-компании. Есть, конечно, и противники, но всё же, практически все компании, которые активно участвуют в рынке систем начального и среднего уровня, уже работают над устройствами с поддержкой iSCSI. В Windows и Linux iSCSI драйверы уже включены, системы хранения данных iSCSI производит IBM, адаптеры - Intel, в ближайшее время подключиться к процессу освоения нового стандарта обещают HP, Dell, EMC.

Одной из очень интересных особенностей iSCSI является то, что для передачи данных на накопителе с интерфейсом iSCSI можно использовать не только носители, коммутаторы и маршрутизаторы существующих сетей LAN/WAN, но и обычные сетевые адаптеры Fast Ethernet или Gigabit Ethernet на стороне клиента. Правда, при этом возникают значительные накладные расходы процессорной мощности ПК, который использует такой адаптер. По утверждению разработчиков, программная реализация iSCSI может достичь скоростей среды передачи данных Gigabit Ethernet при значительной, до 100% загрузке современных CPU. В связи с чем рекомендуется использование специальных сетевых карточек, которые будут поддерживать механизмы разгрузки CPU от обработки стека TCP.

Виртуализация в сетях хранения данных

Ёщё одной важной технологией в построении современных накопителей и сетей хранения данных является виртуализация.

Виртуализация систем хранения данных - это представление физических ресурсов в некоем логическом, более удобном виде. Эта технология позволяет гибко распределять ресурсы между пользователями и эффективно ими управлять. В рамках виртуализации успешно реализуется удаленное копирование, моментальная копия, распределение запросов ввода-вывода на наиболее подходящие по характеру обслуживания накопители и множество других алгоритмов. Реализация алгоритмов виртуализации может осуществляться как средствами самого накопителя, так и с помощью внешних устройств виртуализации или же с помощью управляющих серверов, на которых работает специализированное программное обеспечение под стандартными ОС.

Это, конечно, очень малая часть того, что можно сказать о виртуализации. Эта тема очень интересна и обширна, поэтому мы решили посвятить ей отдельную публикацию.

Как известно, в последнее время наблюдается интенсивное увеличение объемов накапливаемой информации и данных. Исследование, проведенное IDC «Цифровая вселенная», продемонстрировало, что мировой объем цифровой информации к 2020 г. способен увеличиться с 4,4 зеттебайт до 44 зеттебайт. По словам экспертов, каждые два года объем цифровой информации удваивается. Поэтому сегодня чрезвычайно актуальной является проблема не только обработки информации, но также и ее хранения.

Для решения данного вопроса в настоящее время наблюдается весьма активное развитие такого направления, как развитие СХД (сетей/систем хранения данных). Попробуем разобраться, что именно современная ИТ-индустрия подразумевает под понятием «система хранения данных».

СХД – это программно-аппаратное комплексное решение, направленное на организацию надежного и качественного хранения различных информационных ресурсов, а также предоставления бесперебойного доступа к этим ресурсам.

Создание подобного комплекса должно помочь в решении самых разных задач, встающих перед современным бизнесом в ходе построения цельной информационной системы.

Основные компоненты СХД :

Устройства хранения (ленточная библиотека, внутренний либо внешний дисковый массив);

Система мониторинга и управления;

Подсистема резервного копирования/ архивирования данных;

Программное обеспечение управления хранением;

Инфраструктура доступа ко всем устройствам хранения.

Основные задачи

Рассмотрим наиболее типичные задачи:

Децентрализация информации. Некоторые организации обладают развитой филиальной структурой. Каждое отдельное подразделение такой организации должно обладать свободным доступом ко всей информации, необходимой ему для работы. Современные СХД взаимодействуют с пользователями, которые находится на большом расстоянии от центра, где выполняется обработка данных, поэтому способны решить эту задачу.

Невозможность предусмотреть конечные требуемые ресурсы. Во время планирования проекта определить, с каким именно объемами информации придется работать во время эксплуатации системы, бывает крайне сложно. Кроме этого, постоянно увеличивается масса накапливаемых данных. Большинство современных СХД обладает поддержкой масштабируемости (способности наращивать свою производительность после добавления ресурсов), поэтому мощность системы можно будет увеличивать пропорционально возрастанию нагрузок (производить апгрейд).

Безопасность всей хранимой информации. Проконтролировать, а также ограничить доступ к информационным ресурсам предприятия бывает довольно сложно. Неквалифицированные действия обслуживающего персонала и пользователей, умышленные попытки вредительства – все это способно нанести хранящимся данным значительный вред. Современные СХД используют различные схемы отказоустойчивости, позволяющие противостоять как умышленным диверсиям, так и неумелым действиям неквалифицированных сотрудников, сохранив тем самым работоспособность системы.

Сложность управления распределенными информационными потоками – любое действие, направленное на изменение распределенных информационных данных в одном из филиалов, неизбежно создает ряд проблем – от сложности синхронизации разных баз данных и версий файлов разработчиков до ненужного дублирования информации. Программные продукты управления, поставляемые вместе с СХД , помогут вам оптимально упростить и эффективно оптимизировать работу с хранимой информацией.

Высокие расходы. Как показали результаты проведенного IDC Perspectives исследования, расходы на хранение данных составляют порядка двадцати трех процентов от всех расходов на IT. Эти расходы включают стоимость программной и аппаратной частей комплекса, выплаты обслуживающему персоналу и пр. Использование СХД позволяет сэкономить на администрировании системы, а также обеспечивает снижение расходов на персонал.

Основные типы СХД

Все системы хранения данных подразделяются на 2 типа: ленточные и дисковые СХД . Каждый из двух вышеупомянутых видов делится, в свою очередь, на несколько подвидов.

Дисковые СХД

Такие системы хранения данных используются для создания резервных промежуточных копий, а также оперативной работы с различными данными.

Дисковые СХД подразделяются на следующие подвиды:

Устройства для резервных копий (различные дисковые библиотеки);

Устройства для рабочих данных (оборудование, характеризующееся высокой производительностью);

Устройства, используемые для длительного хранения архивов.

Ленточные СХД

Используются для создания архивов, а также резервных копий.

Ленточные СХД подразделяются на следующие подвиды:

Ленточные библиотеки (два либо более накопителей, большое количество слотов для лент);

Автозагрузчики (1 накопитель, несколько слотов, предназначенных для лент);

Отдельные накопители.

Основные интерфейсы подключения

Выше мы рассмотрели основные типы систем, а теперь давайте разберемся подробнее со структурой самих СХД . Современные системы хранения данных подразделяются в соответствии с типом используемых ими интерфейсов подключения хостов. Рассмотрим ниже 2 наиболее распространенных внешних интерфейса подключения - SCSI и FibreChannel. Интерфейс SCSI напоминает широко распространенный IDE и представляет собой параллельный интерфейс, который допускает размещение на одной шине от шестнадцати устройств (для IDE, как известно, два устройства на канал). Максимальная скорость SCSI протокола сегодня составляет 320 мегабайт в секунду (версия, которая будет обеспечивать скорость в 640 мегабайт в секунду, сегодня находится в разработке). Недостатки SCSI следующие – неудобные, не обладающие помехозащищенностью, слишком толстые кабели, максимальная длина которых не превышает двадцати пяти метров. Сам протокол SCSI тоже накладывает определенные ограничения – как правило, это 1 инициатор на шине плюс ведомые устройства (стримеры, диски и пр.).

Интерфейс FibreChannel используется реже, чем интерфейс SCSI, так как оборудование, используемое для данного интерфейса, стоит дороже. Кроме этого, FibreChannel используется для развертывания крупных SAN сетей хранения данных, поэтому используется он только в крупных компаниях. Расстояния могут быть, практически, любыми – от стандартных трехсот метров на типовом оборудовании до двух тысяч километров для мощных коммутаторов («директоров»). Основным преимуществом интерфейса FibreChannel является возможность объединить многие устройства хранения и хосты (сервера) в общую SAN сеть хранения данных. Менее важными преимуществами являются: большие, чем со SCSI, расстояния, возможность агрегирования каналов и резервирования путей доступа, возможность «горячего подключения» оборудования, более высокая помехозащищенность. Используются двухжильные одно- и многомодовые оптические кабели (с коннекторами типа SC либо LC), а также SFP – оптические трансмиттеры, изготавливаемые на основе лазерных либо светодиодных излучателей (от этих компонентов зависит максимальное расстояние между используемыми устройствами, а также скорость передачи).

Варианты топологий СХД

Традиционно СХД используется для подключения серверов к DAS – системе хранения данных. Кроме DAS существуют еще и NAS – устройства хранения данных, которые подключаются к сети, а также SAN – составляющие сетей хранения данных. SAN и NAS системы были созданы как альтернатива архитектуре DAS. При этом каждое из вышеупомянутых решений разрабатывалось в качестве ответа на постоянно увеличивающиеся требования к современным системам хранения данных и основывалось на применении доступных на тот момент технологий.

Архитектуры первых сетевых систем хранения разработаны были в 1990-х годах для устранения наиболее ощутимых недостатков DAS систем. Сетевые решения в сфере систем хранения были предназначены для реализации вышеперечисленных задач: снижения затрат и сложности управления данными, уменьшения трафика локальных сетей, повышения общей производительности и степени готовности данных. При этом архитектуры SAN и NAS решают разные аспекты одной общей проблемы. В результате одновременно стали существовать 2 сетевые архитектуры. Каждая из них обладает собственными функциональными возможностями и преимуществами.

DAS

(D irect A ttached S torage) – это архитектурное решение, используемое в случаях, когда устройство, применяемое для хранения цифровых данных, подключено по протоколу SAS через интерфейс непосредственно к серверу либо к рабочей станции.

Основные преимущества DAS систем: невысокая, сравнительно с остальными решениями СХД, стоимость, простота развертывания, а также администрирования, высокоскоростной обмен данными между сервером и системой хранения.

Вышеперечисленные преимущества позволили DAS системам стать чрезвычайно популярными в сегменте небольших корпоративных сетей, хостинг-провайдеров и малых офисов. Но при этом у DAS-систем имеются и свои недостатки, например, не оптимальная утилизация ресурсов, объясняемая тем, что для каждой DAS-системы требуется подключение выделенного сервера, кроме этого, каждая такая система позволяет подключить к дисковой полке не больше двух серверов в определенной конфигурации.

Преимущества:

Доступная стоимость. СХД представляет собой по сути установленную за пределами сервера дисковую корзину, снабженную жесткими дисками.

Обеспечение высокоскоростного обмена между сервером и дисковым массивом.

Недостатки:

Недостаточная надежность – в случае аварии либо возникновения в сети каких-либо проблем сервера перестают быть доступными ряду пользователей.

Высокая латентность, возникающая из-за того, что все запросы обрабатываются одним сервером.

Низкая управляемость – доступность всей емкости одному серверу уменьшает гибкость распределения данных.

Низкая утилизация ресурсов – требуемые объемы данных предсказать сложно: одни устройства DAS в организации могут испытывать избыток емкости, а другим может ее не хватать, поскольку перераспределение емкости обычно бывает слишком трудоемким либо вовсе невозможным.

NAS

(N etwork A ttached S torage) – это интегрированная отдельно стоящая дисковая система, включающая в себя NAS сервер с собственной специализированной операционной системой и набором полезных для пользователей функций, обеспечивающих быстрый запуск системы, а также доступ к любым файлам. Подключается система к обыкновенной компьютерной сети, позволяя пользователям данной сети решить проблему недостатка свободного дискового пространства.

NAS - хранилище, которое подключается к сети как обычное сетевое устройство, обеспечивая файловый доступ к цифровым данным. Любое устройство NAS представляет собой комбинацию системы хранения данных и сервера, к которому подключена эта система. Простейшим вариантом NAS устройства является сетевой сервер, который предоставляет файловые ресурсы.

Состоят NAS устройства из головного устройства, которое выполняет обработку данных, а также соединяет цепочку дисков в единую сеть. NAS обеспечивают использование систем хранения данных в сетях Ethernet. Совместный доступ к файлам организуется в них при помощи протокола TCP/IP. Подобные устройства обеспечивают совместное использование файлов даже теми клиентами, системы которых функционируют под управлением разных операционных систем. В отличие от DAS архитектуры, в NAS системах сервера для повышения общей емкости в автономный режим можно не переводить; добавлять диски в структуру NAS можно посредством простого подключения устройства в сеть.

NAS технология развивается сегодня в качестве альтернативы универсальным серверам, несущим в себе большое количество различных функций (электронная почта, факс сервер, приложения, печать и пр.). NAS-устройства, в отличие от универсальных серверов, выполняют всего одну функцию – файлового сервера, стараясь делать это максимально быстро, просто и качественно.

Подключение NAS к ЛВС обеспечивает доступ к цифровой информации неограниченному числу гетерогенных клиентов (то есть клиентов с разными операционными системами) либо другим серверам. Сегодня практически все устройства NAS используются в сетях Ethernet на основе TCP/IP протоколов. Доступ к NAS устройствам осуществляется посредством использования специальных протоколов доступа. Самые распространенные протоколы файлового доступа – DAFS, NFS, CIFS. Внутри таких серверов устанавливаются специализированные операционные системы.

NAS-устройство может выглядеть как обычная «коробочка», снабженная одним портом Ethernet, а также парой жестких дисков, а может представлять собой огромную систему, снабженную несколькими специализированными серверами, огромным количеством дисков, а также внешних Ethernet-портов. Иногда устройства NAS представляют собой часть SAN-сети. В этом случае они собственных накопителей не имеют, а лишь предоставляют доступ к тем данным, которые располагаются на блочных устройствах. В данном случае NAS выступает как мощный специализированный сервер, а SAN – как устройство хранения данных. Из SAN и NAS компонентов в данном случае формируется единая DAS топология.

Преимущества

Невысокая стоимость, доступность ресурсов для отдельных серверов, а также для любого компьютера организации.

Универсальность (один сервер способен обслуживать клиентов Unix, Novell, MS, Mac).

Простота развертывания, а также администрирования.

Простота совместного использования ресурсов.

Недостатки

Доступ к информации посредством протоколов сетевых файловых систем часто бывает более медленным, чем доступ к локальному диску.

Большая часть доступных по цене NAS-серверов не в состоянии обеспечивать гибкий, скоростной метод доступа, который обеспечивается современными SAN системами (на уровне блоков, а не файлов).

SAN

(S torage A rea N etwork) - это архитектурное решение позволяет подключать к серверам внешние устройства хранения данных (ленточные библиотеки, дисковые массивы, оптические накопители и пр.). При таком подключении внешние устройства распознаются операционной системой как локальные. Использование SAN сети позволяет снизить совокупную стоимость содержания системы хранения данных и позволяет современным организациям организовать надежное хранение своей информации.

Простейший вариант SAN – это СХД , сервера и коммутаторы, объединенные оптическими каналами связи. Кроме дисковых систем хранения данных, в SAN могут быть подключены дисковые библиотеки, стримеры (ленточные библиотеки), устройства, используемые для хранения информации на оптических дисках и пр.

Преимущества

Надежностью доступа к тем данным, которые находятся на внешних системах.

Независимость SAN топологии от используемых серверов и систем хранения данных.

Безопасность и надежность централизованного хранения данных.

Удобство централизованного управления данными и коммутацией.

Возможность перенести в отдельную сеть трафика ввода-вывода, обеспечивающая разгрузку LAN.

Низкая латентность и высокое быстродействие.

Гибкость и масштабируемость логической структуры SAN.

Фактическая неограниченность географических размеров SAN.

Возможность оперативного распределения ресурсов между серверами.

Простота схемы резервного копирования, обеспечиваемая тем, что все данные располагаются в одном месте.

Возможность создания отказоустойчивых кластерных решений на основе имеющейся SAN без дополнительных затрат.

Наличие дополнительных сервисов и возможностей, таких как удаленная репликация, снапшоты и пр.

Высокий уровень безопасности SAN/

Единственным недостатком подобных решений является их высокая стоимость. В целом, отечественный рынок систем хранения данных отстает от рынка развитых западных государств, для которого характерно широкое использование СХД . Высокая стоимость и дефицит скоростных каналов связи – главные причины, тормозящие развитие российского рынка СХД .

RAID

Говоря о системах хранения данных, обязательно следует рассмотреть и одну и главных технологий, лежащих в основе работы таких систем и повсеместно используемых в современной IT-индустрии. Мы имеем в виду RAID-массивы.

RAID-массив состоит из нескольких дисков, которые управляются контроллером и связаны между собой посредством скоростных каналов передачи данных. Внешней системой такие диски (запоминающие устройства) воспринимаются в качестве единого целого. Тип используемого массива непосредственным образом влияет на степень быстродействия и отказоустойчивости. RAID-массивы используются для увеличения надежности хранения данных, а также для повышения скорости записи/чтения.

Существует несколько уровней RAID, используемых при создании сетей хранения данных. Чаще всего используются следующие уровни:

1. Это дисковый массив увеличенной производительности, без отказоустойчивости, с чередованием.
Информация разбивается на отдельные блоки данных. Записывается она одновременно на два либо несколько дисков.

Плюсы:

Суммируется объем памяти.

Значительное увеличение производительности (количество дисков непосредственно влияет на кратность повышения производительности).

Минусы:

Надежность RAID 0 ниже надежности даже самого ненадежного диска, поскольку в случае отказа любого из дисков, весь массив становится неработоспособным.

2. – дисковый зеркальный массив. Этот массив состоит из пары дисков, полностью копирующих друг друга.

Плюсы:

Обеспечение при распараллеливании запросов приемлемой скорости записи, а также выигрыша по скорости чтения.

Обеспечение высокой надежности – дисковый массив такого типа функционирует до того времени, пока в нем работает хотя бы 1 диск. Вероятность поломки одновременно 2-х дисков, равная произведению вероятностей поломки каждого из них, намного ниже, чем вероятность поломки одного диска. При поломке одного диска на практике необходимо немедленно принимать меры, вновь восстанавливая избыточность. Для этого рекомендуется с RAID любого уровня (за исключением нулевого) применять диски горячего резерва.

Минусы:

Недостаток RAID 1 состоит только в том, что пользователь получает один жесткий диск по цене двух дисков.

3. . Это построенный из RAID 1 массивов массив RAID 0.

4. RAID 2 . Используется для массивов, применяющих код Хемминга.

Массивы данного типа основываются на применении кода Хемминга. Диски подразделяются на 2 группы: для данных, а также для кодов, используемых для коррекции ошибок. Данные по дискам, используемым для хранения информации, распределяются аналогично распределению в RAID 0, то есть они разбиваются на блоки небольшого размера в соответствии с количеством дисков. На оставшихся дисках хранятся все коды коррекции ошибок, которые помогают восстановить информацию в случае, если один из жестких дисков выйдет из строя. Метод Хемминга, используемый в ЕСС памяти, дает возможность исправлять на лету однократные ошибки, а также обнаруживать двукратные.

RAID 3 , RAID 4 . Это массивы дисковые с чередованием, а также выделенным диском четности. В RAID 3 данные из n дисков разбиваются на составляющие размером меньше сектора (на блоки либо байты), после чего распределяются по дискам n-1. На одном диске хранятся блоки четности. В массиве RAID 2 для данной цели использовался n-1 диск, однако большинство информации на контрольных дисках использовалось для коррекции на лету ошибок, тогда как большинству пользователей при поломке диска достаточно простого восстановления информации (для этого бывает достаточно информации, которая помещается на одном жестком диске).

Массив RAID 4 напоминает RAID 3, однако, данные на нем разбиваются не на отдельные байты, а на блоки. Это отчасти позволило решить проблему недостаточно высокой скорости передачи данных, имеющих небольшой объем. Запись при этом осуществляется чересчур медленно из-за того, что при записи генерируется четность для блока, записываясь на единственный диск.
От RAID 2 RAID 3 отличается невозможностью скорректировать ошибки на лету, а также меньшей избыточностью.

Плюсы:

Облачные провайдеры тоже осуществляют активные закупки для своих нужд систем хранения данных, к примеру, Facebook и Google строят из готовых компонентов по индивидуальному заказу собственные серверы, но эти серверы в отчете IDC не учитываются.

Также в компании IDC ожидают, что вскоре развивающиеся рынки в отношении потребления СХД существенно обгонят рынки развитые, поскольку им свойственны более высокие темпы экономического роста. К примеру, регион Восточной и Центральной Европы, Африки и Ближнего Востока в 2014 г. по расходам на системы хранения данных превзойдет Японию. К 2015 г. Азиатско-Тихоокеанский регион, исключая Японию, по объему потребления систем хранения данных превзойдет Западную Европу.

Выполняемая нашей компанией «Навигатор» продажа систем хранения данных дает возможность каждому желающему получить надежную и долговечную основу для хранения своих мультимедийных данных. Широкий выбор Raid массивов, сетевых хранилищ и прочих систем дает возможность в индивидуальном порядке подобрать для каждого заказа RAID со второго по четвертый является невозможность осуществления параллельных операций записи, объясняемая тем, что для хранения цифровой информации о четности применяется отдельный контрольный диск. У RAID 5 вышеупомянутый недостаток отсутствует. Запись контрольных сумм и блоков данных осуществляется автоматически на все диски, асимметричность конфигурации дисков отсутствует. Под контрольными суммами имеется в виду результат операции XOR.XOR дает возможность заменить результатом любой операнд и, использовав алгоритм XOR, в результате получить недостающий операнд. Чтобы сохранить результат XOR , необходим всего один диск (размер его идентичен размеру любого диска в raid).

Плюсы:

Популярность RAID5 объясняется, прежде всего, его экономичностью. На запись на том RAID5 тратятся дополнительные ресурсы, что приводит в итоге к падению производительности, поскольку необходимы дополнительные вычисления, а также операции записи. Но зато при чтении (в сравнении с отдельным жестким диском) имеется определенный выигрыш, состоящий в том, что идущие с нескольких дисков потоки данных могут обрабатываться параллельно.

Минусы:

RAID 5 характеризуется намного более низкой производительностью, особенно при проведении операций, связанных с записью в произвольном порядке (типа Random Write), при которых производительность уменьшается на 10-25 процентов от производительности RAID 10 или RAID 0. Происходит это потому, что данному процессу требуется больше операций с дисками (происходит замена каждой операции записи сервера на RAID контроллере на 3 операции – 1 операцию чтения и 2 операции записи). Минусы RAID 5 проявляются тогда, когда из строя выходит один диск – при этом наблюдается переход всего тома в критический режим, все операции чтения и записи сопровождаются дополнительными манипуляциями, что приводит к резкому падению производительности. Уровень надежности при этом падает до уровня надежности RAID 0, снабженного соответствующим количеством дисков, становясь в n раз меньше надежности одиночного диска. В случае, если до восстановления массива выйдет из строя еще хоть один диск либо на нем возникнет невосстановимая ошибка, массив разрушится, причем данные на нем обычными методами восстановить не удастся. Учтите также, что процесс восстановления за счет избыточности данных RAID, носящий название RAID Reconstruction, после того, как диск выйдет из строя, вызовет интенсивную непрерывную нагрузку чтения со всех дисков, которая будет сохраняться в течение многих часов. В результате этого один из оставшихся дисков может выйти из строя. Также могут выявиться не обнаруженные ранее сбои чтения данных вcold data массивах (тех данных, к которым во время обычной работы массива не обращаются – малоактивных и архивных), что приводит к повышению риска сбоя во время восстановления данных.

6. – это массив RAID 50, который построен из массивов RAID5;

7. – массив дисковый с чередованием, который использует 2 контрольные суммы, вычисляемые 2-мя независимыми способами.

RAID 6 во многом аналогичен RAID 5, однако отличается от него более высокой степенью надежности: в нем под контрольные суммы происходит выделение емкости двух дисков, две суммы рассчитываются по различным алгоритмам. Необходим RAID-контроллер более высокой мощности. Помогает защитить от кратного отказа, обеспечивая работоспособность после выхода из строя одновременно двух дисков. Организация массива требует использования минимум четырех дисков. Использование RAID-6 обычно приводит к падению производительности дисковой группы приблизительно на 10-15 процентов. Это объясняется большим объемом информации, которую приходится обрабатывать контроллеру (появляется необходимость в расчете второй контрольной суммы, а также чтении и перезаписи большего количества дисковых блоков в процессе записи каждого из блоков).

8. – это массив RAID 0, который построен из массивов RAID6.

9. Hybrid RAID . Это еще один уровень массива RAID, ставший в последнее время достаточно популярным. Это обычные уровни RAID, используемые вместе с дополнительным программным обеспечением, а также SSD-дисками, которые применяются в качестве кэша для чтения. Это приводит к увеличению производительности системы, объясняемой тем, что SSD, в сравнении с HDD, обладают намного лучшими скоростными характеристиками. Сегодня существует несколько реализаций, к примеру, Crucial Adrenaline, а также несколько бюджетных контроллеров Adaptec. В настоящее время использование Hybrid RAID из-за маленького ресурса SSD-дисков не рекомендуется.


Операции считывания в Hybrid RAID выполняются с твердотельного накопителя, обладающего большей скоростью, а операции записи осуществляются и на твердотельных накопителях, и на жестких дисках (делается это с целью выполнения резервирования).
Hybrid RAID отлично подходит для приложений, использующих данные нижнего уровня (виртуальной вычислительной машины, файлового сервера либо интернет-шлюза).

Особенности современного рынка СХД

Аналитическая компания IDC летом 2013 г. обнародовала очередной свой прогноз для рынка СХД , рассчитанный ею до 2017 г. Подсчеты аналитиков демонстрируют, что в ближайшее четырехлетие мировыми предприятиями будут закуплены СХД , общая емкость которых составит сто тридцать восемь экзабайт. Совокупная реализуемая мощность систем хранения ежегодно будет увеличиваться примерно на тридцать процентов.

Тем не менее, в сравнении с предыдущими годами, когда наблюдался бурный рост потребления хранилищ данных, темпы этого роста несколько замедлятся, так как сегодня большинство компаний использует облачные решения, отдавая предпочтение технологиям, оптимизирующим хранилища данных. Экономия места в хранилищах достигается при помощи таких средств, как виртуализация, сжатие данных, дедупликация данных и пр. Все вышеперечисленные средства обеспечивают экономию места, позволяя компаниям избегать спонтанных покупок и прибегать к приобретению новых систем хранения лишь тогда, когда в них действительно имеется необходимость.

Из 138 экзабайт, продажа которых ожидается в 2017 г., 102 экзабайта будет приходиться на внешние СХД , а 36 – на внутренние. В 2012 г. было реализовано СХД на двадцать экзабайт для внешних систем и на восемь – для внутренних. Финансовые затраты на промышленные СХД ежегодно будут увеличиваться приблизительно на 4,1 процента и к 2017 г. составят порядка сорока двух с половиной миллиардов долларов.

Мы уже отмечали, что переживший недавно настоящий бум мировой рынок СХД постепенно пошел на спад. В 2005 г. рост потребления СХД составил на промышленном уровне шестьдесят пять процентов, а в 2006, а также 2007 г. – по пятьдесят девять процентов. В последующие годы рост потребления СХД еще больше снизился из-за негативного влияния мирового экономического кризиса.

Аналитики прогнозируют, что рост использования облачных СХД приведет к уменьшению потребления решений систем хранения данных на корпоративном уровне. Облачные провайдеры тоже осуществляют активные закупки для своих нужд систем хранения данных, к примеру, Facebook и Google строят из готовых компонентов по индивидуальному заказу собственные серверы, но эти серверы в отчете IDC не учитываются.

Также в компании IDC ожидают, что вскоре развивающиеся рынки в отношении потребления СХД существенно обгонят рынки развитые, поскольку им свойственны более высокие темпы экономического роста. К примеру, регион Восточной и Центральной Европы, Африки и Ближнего Востока в 2014 г. по расходам на системы хранения данных превзойдет Японию. К 2015 г. Азиатско-Тихоокеанский регион, исключая Японию, по объему потребления систем хранения данных превзойдет Западную Европу.

Оперативная продажа систем хранения данных

Выполняемая нашей компанией «Навигатор» продажа систем хранения данных дает возможность каждому желающему получить надежную и долговечную основу для хранения своих мультимедийных данных. Широкий выбор Raid массивов, сетевых хранилищ и прочих систем дает возможность в индивидуальном порядке подобрать для каждого заказчика тот комплекс, который подойдет для него наилучшим образом.

Широкие технические возможность, грамотность и опыт персонала компании гарантируют быстрое и комплексное выполнение поставленной задачи. При этом мы не ограничивается исключительно продажей систем хранения данных, поскольку выполняем также ее настройку, запуск и последующее сервисное и техническое обслуживание.