Что такое виртуализация хранения данных?

Что подразумевается под виртуализацией хранилища?

Виртуализация хранилища или виртуализированное хранилище призвано абстрагировать физические системы хранения и диски, чтобы представить их в виде единого пула емкости. Емкость этого единого виртуального устройства может управляться централизованно, что упрощает распределение, обслуживание и общее управление системой хранения.

Виртуализация систем хранения маскирует фактическую сложность системы хранения, например сети хранения данных (SAN), что помогает администратору системы хранения выполнять задачи резервного копирования, архивирования и восстановления данных более легко и за меньшее время. Используемое программное обеспечение виртуализации перехватывает запросы ввода-вывода (I/O) от физических или виртуальных машин (VM) и отправляет их в соответствующее физическое местоположение устройств хранения, которые являются частью общего пула хранения в виртуализированной среде. Однако для пользователя различные ресурсы хранения, составляющие виртуализированный пул, не видны, поэтому виртуальное хранилище выглядит как один физический диск, ресурс или логический номер единицы (LUN), который может принимать стандартные запросы на чтение и запись.

Возможности виртуализации и централизации отличают общий подход от систем хранения «на чистом железе», где к физическим устройствам хранения нужно обращаться напрямую. Именно поэтому виртуализация обеспечивает значительную операционную эффективность по сравнению с «чистой» системой хранения. Кроме того, позволяя ИТ-отделам обращаться к одному устройству, а не ко многим, виртуализация систем хранения повышает производительность сред хранения и сводит к минимуму проблемы совместимости и безопасности.

Как работает виртуализация систем хранения данных

Чтобы создать виртуализированную среду хранения, несколько физических устройств хранения группируются таким образом, чтобы они использовали один сервер. Серверу назначаются виртуальные блоки хранения, которые могут перенаправлять трафик ввода-вывода. Устройства делятся на небольшие блоки данных (LUN). Затем они представляются удаленным серверам как виртуальный диск. Однако серверы воспринимают LUNs как физические диски. Программный уровень виртуализации отделяет аппаратное обеспечение системы хранения от виртуального тома. Это позволяет операционным системам (ОС) и приложениям получать доступ к хранилищу и использовать его.

Технология виртуализации хранилищ опирается на программное обеспечение для определения доступной емкости физических устройств, создания барьера между физическими и виртуальными устройствами хранения и последующего объединения доступной емкости в пул хранения, который может использоваться серверами традиционной архитектуры или виртуальными машинами в виртуальной среде. Помимо определения и объединения доступной емкости, программное обеспечение предоставляет ее в распоряжение различных приложений.

Чтобы обеспечить доступ к данным, хранящимся на физических устройствах хранения, программное обеспечение виртуализации должно либо создать карту с помощью метаданных, либо использовать алгоритм для динамического определения местоположения данных быстрее или на лету. Программное обеспечение перехватывает запросы на чтение и запись от приложений. Используя созданную карту, оно может найти или сохранить данные на соответствующем физическом устройстве. Этот процесс похож на метод, используемый ОС при поиске или сохранении данных приложения.

Избыточный массив независимых дисков или RAID-массив иногда можно считать одним из видов виртуализации хранилища. Несколько физических дисков в массиве представляются пользователю как единое устройство хранения, которое в фоновом режиме чередует и реплицирует данные на несколько дисков для повышения производительности ввода-вывода и защиты данных в случае выхода из строя одного диска.

Преимущества и применение виртуализации систем хранения данных

К преимуществам и способам использования виртуализации систем хранения относятся следующие:

• Более простое управление. Единая консоль управления — для мониторинга и обслуживания нескольких виртуализированных массивов хранения позволяет сократить время и усилия, необходимые для управления физическими системами по отдельности. Это особенно полезно, когда в пул виртуализации входит большое количество систем хранения или систем хранения от разных производителей.
• Более эффективное использование хранилища. Объединение емкости хранения в пул из нескольких систем упрощает распределение и использование доступной емкости. В противоположность этому при использовании разрозненных систем, не связанных между собой, некоторые системы могут работать на пределе или почти на пределе возможностей, в то время как другие практически не используются, что негативно сказывается на использовании емкости и эффективности хранения.
• Более низкая стоимость. Виртуальная система хранения требует меньшего количества аппаратных устройств и лицензий на программное обеспечение, чем традиционные корпоративные архитектуры хранения. Это позволяет организациям сэкономить значительную сумму денег. Кроме того, виртуализация поддерживает динамическое выделение ресурсов хранения, предлагая более масштабируемый и экономически эффективный способ добавления хранилища по мере изменения потребностей организации.
• Меньший риск простоя. Виртуализированные среды обеспечивают отказоустойчивость, позволяя переносить данные и приложения с одного сервера на другой с минимальным временем простоя. Кроме того, виртуальное резервирование снижает риск сбоев, повышает гибкость систем хранения, улучшает их производительность и снижает риск отказов.
• Высокая доступность. Использование физических SAN и сетевых устройств хранения данных (NAS) в виртуализированном виде создает среду, которая не только проста в развертывании и управлении, но и отличается высокой доступностью и способностью обеспечивать очень высокое время безотказной работы.
• Продление срока службы старых систем хранения. Виртуализация — это отличный способ продлить срок службы старых устройств хранения данных, включив их в пул в качестве уровня хранения для работы с архивными или менее критичными данными.
• Универсальные расширенные функции. Предприятия могут реализовать такие передовые функции хранения, как многоуровневое хранение, кэширование и репликация, на уровне виртуализации. Это помогает стандартизировать эти методы для всех систем-участников и еще больше упрощает управление и обслуживание систем хранения.

Недостатки виртуализации систем хранения данных

Когда виртуализация хранилищ впервые появилась более двух десятилетий назад, она была сложна в реализации. Кроме того, она имела ограниченное применение. Кроме того, поскольку изначально она была основана на хосте, программное обеспечение для виртуализации необходимо было устанавливать и поддерживать на всех серверах, которым требовался доступ к объединенным ресурсам хранения.

Виртуализация систем хранения также может создавать проблемы совместимости и взаимодействия. Например, среда виртуализации может быть не полностью совместима с такими протоколами, как сетевая файловая система (NFS), или не интегрироваться со средствами автоматизации, ОС или гипервизорами, используемыми в организации. Это может привести к сбоям в работе. Также может возникнуть необходимость в дополнительных закупках для облегчения интеграции, оркестровки и взаимодействия между средой виртуализации и существующей ИТ-инфраструктурой.

Еще одна потенциальная проблема связана с производительностью. Некоторые виртуальные среды имеют высокую задержку и, следовательно, не могут соответствовать требованиям производительности определенных приложений. Администраторам необходимо учитывать множество аспектов, включая возможности контроллеров хранения и механизмы кэширования, чтобы минимизировать влияние виртуализации на производительность.

Безопасность данных — еще одна проблема, препятствующая внедрению виртуализации систем хранения. Если виртуализированная среда не поддерживает шифрование данных или не обеспечивает надежную аутентификацию/контроль доступа, это ставит под угрозу безопасность и целостность данных (как находящихся в хранилище, так и перемещаемых). Чтобы защитить свои данные в виртуализированной среде хранения, организациям необходимо применять эти меры, а также эффективные процедуры резервного копирования данных.

К счастью, многие из этих недостатков уже устранены или сведены к минимуму. По мере развития технологии виртуализации организации могут применять ее для самых разных целей. Кроме того, они могут выбирать из нескольких методов виртуализации и выбирать тот метод, который имеет наибольший операционный и финансовый смысл для их существующей инфраструктуры и требований к ИТ.

Разработки в области программного обеспечения для виртуализации также упростили развертывание виртуализации систем хранения в различных средах. Кроме того, появление таких стандартов, как Storage Management Initiative Specification, позволяет продуктам виртуализации работать с более широким спектром систем хранения. По этим причинам виртуализация является привлекательным вариантом для предприятий, стремящихся увеличить емкость хранилищ и упростить управление ими, а также контролировать расходы на хранение данных.

Типы виртуализации хранилищ

Существует два основных метода виртуализации хранилищ: файловый и блочный.

Виртуализация хранилища на основе файлов. Файловая виртуализация хранилищ применяется в системах NAS. Используя протоколы Server Message Block (SMB) в серверных средах Windows или NFS для систем Linux, виртуализация хранилища на основе файлов устраняет зависимость в обычном массиве NAS между данными, к которым осуществляется доступ, и расположением физической памяти.

Объединение ресурсов NAS упрощает обработку миграции файлов в фоновом режиме, что способствует повышению производительности. Как правило, системы NAS не так сложны в управлении, но виртуализация хранилищ еще больше упрощает управление ими с помощью единой консоли управления.

Виртуализация хранилищ на основе блоков. При виртуализации хранилищ на основе блоков программное обеспечение для управления виртуализацией собирает данные о емкости доступных блоков дискового пространства на всех виртуализированных массивах. Оно объединяет их в общий ресурс, который может быть назначен любому количеству виртуальных машин, пустых серверов или контейнеров.

Доступ к ресурсам хранения обычно осуществляется через глобальную сеть Fiber Channel (FC) или Internet Small Computer System Interface (iSCSI). Системы на основе блоков абстрагируют логическое хранилище, например раздел диска, от реальных физических блоков памяти в устройстве хранения, таком как жесткий диск (HDD) или твердотельный накопитель (SSD). Поскольку система работает аналогично программному обеспечению родного диска, процессы чтения и записи занимают меньше времени, поэтому блочные системы хранения данных работают лучше файловых.

Несмотря на преимущества SAN, управление ими может отнимать много времени. Консолидация нескольких блочных систем хранения под единым интерфейсом управления, который часто избавляет пользователей от утомительных этапов настройки LUN, например, может значительно сэкономить время. Виртуализация на основе блоков также известна как хранение с блочным доступом.

Внутриполосная и внеполосная виртуализация

В целом существует два типа виртуализации, которые могут применяться к инфраструктуре хранения данных:

Внутриполосная виртуализация. Также называемая симметричной виртуализацией, внутриполосная виртуализация обрабатывает данные, которые считываются или сохраняются, и управляющую информацию, например инструкции ввода-вывода и метаданные, в одном и том же канале или уровне. Одно устройство виртуализации располагается между хост-системами и устройствами хранения для обработки данных и управления каналами передачи данных. Такая конфигурация позволяет виртуализации хранилища обеспечить более продвинутые функции эксплуатации и управления, такие как кэширование данных, резервное копирование и репликация. Однако она также может создавать узкие места в производительности и не очень хорошо масштабируется. По этим причинам она больше подходит для небольших сред, где требования к хранению данных вряд ли существенно возрастут со временем.
Внеполосная виртуализация. Этот подход к виртуализации хранилищ, известный также как асимметричная виртуализация, разделяет пути передачи данных и управления. Это означает, что средство виртуализации видит только управляющие инструкции, поэтому ему необходимо решать только задачи управления. Передача данных происходит непосредственно между хост-системами и устройствами хранения, что сводит к минимуму вероятность возникновения узких мест. Такой подход подходит для крупных организаций с растущими потребностями в хранении данных и высокими требованиями к производительности. При этом разделение путей передачи данных и управления может усложнить среду виртуализации. Кроме того, расширенные функции хранения обычно недоступны.

Ленточные носители и виртуализация систем хранения данных

Ленточные носители, хотя и теряют свою актуальность в качестве целевого носителя для резервного копирования, все еще широко используются для архивирования редко используемых данных. Архивные данные, как правило, имеют большой объем; ленточные носители могут использовать виртуализацию хранения, чтобы упростить управление большими хранилищами данных.

Линейная ленточная файловая система (LTFS) — это форма виртуализации ленты, которая делает ленту похожей на обычное файловое устройство хранения NAS. Это значительно упрощает поиск и восстановление данных с ленты с помощью каталога содержимого ленты на уровне файлов.

Методы виртуализации

Существует несколько подходов к виртуализации систем хранения данных:

Виртуализация хранилища на базе хоста. Этот подход основан на программном обеспечении и чаще всего встречается в системах гиперконвергентной инфраструктуры (HCI) и облачных хранилищах. При этом типе виртуализации хост или гиперконвергентная система, состоящая из нескольких хостов, представляет виртуальные диски различной емкости гостевым машинам, будь то виртуальные машины в корпоративной среде, физические серверы или ПК, обращающиеся к файловым ресурсам или облачным хранилищам. Вся виртуализация и управление осуществляются на уровне хоста с помощью программного обеспечения, а физическим хранилищем может быть практически любое устройство или массив. Некоторые серверные ОС имеют встроенные возможности виртуализации, например Windows Storage Spaces.
Виртуализация хранилища на основе массива. Она строится на основе массива хранения, который выступает в качестве основного контроллера хранения и запускает программное обеспечение виртуализации, позволяющее объединять ресурсы хранения других массивов и представлять различные типы физических хранилищ для использования в качестве уровней хранения. Ярус хранения может состоять из SSD или HDD на различных виртуализированных массивах хранения; физическое расположение и конкретный массив скрыты от серверов или пользователей, получающих доступ к хранилищу.
Виртуализация хранилища на основе сети. Это наиболее распространенная форма виртуализации хранилищ, используемая предприятиями. Сетевое устройство, например интеллектуальный коммутатор или специально разработанный сервер, подключается ко всем устройствам хранения в сети Fibre Channel (FC) или iSCSI SAN и представляет хранилище в сети как единый виртуальный пул. Коммутатор FC виртуализирует и перенаправляет запросы ввода-вывода на физическое хранилище, поэтому серверу, использующему хранилище, не нужно знать базовую архитектуру хранилища.
В дополнение к вышесказанному хранение может быть применено к виртуальной среде с помощью виртуализации на уровне ОС или файловой системы. В первом случае ОС включает функции, позволяющие создавать многоуровневые хранилища. В последнем случае речь идет об использовании технологий, обеспечивающих пользователям консолидированное представление файловых данных, даже если эти файлы могут быть разбросаны по разным файловым серверам. Пользователи также могут иметь удаленный доступ к файлам благодаря возможности репликации файлов, предоставляемой технологией виртуализации файловой системы.

История виртуализации систем хранения данных

В конце 1960-х — начале 1970-х годов компания IBM разработала концепцию виртуализации в контексте разделения времени для компьютеров мэйнфрейм — идеи о том, что несколько пользователей могут совместно использовать дорогостоящие устройства мэйнфрейма без необходимости покупать или арендовать их. Такой подход помог снизить стоимость предоставления вычислительных возможностей и позволил большему числу пользователей и организаций использовать эти возможности с минимальными затратами. Аналогичные потенциальные преимущества послужили толчком к разработке технологий и решений для виртуализации систем хранения данных.

IBM SAN Volume Controller был ранней версией устройства виртуализации на основе блоков. Теперь это устройство под названием IBM Spectrum Virtualize поддерживает масштабные рабочие нагрузки и позволяет развертывать гибридные облачные системы хранения данных для 500 с лишним поддерживаемых систем хранения. Программное обеспечение Spectrum Virtualize обеспечивает изоляцию от физических систем хранения и может использоваться в устройстве вместе с другими технологиями виртуализации серверов и контейнеризации.

Другим ранним продуктом для виртуализации систем хранения данных была универсальная платформа хранения TagmaStore от Hitachi Data Systems. Этот продукт превратился в платформу Hitachi Vantara Virtual Storage Platform One (VSP One), которая обеспечивает виртуализацию и агрегацию, позволяя организациям создавать масштабные пулы хранения и затем логически разделять их для оптимизации качества обслуживания приложений. Платформа также снижает сложность управления хранением и обеспечивает высокую гибкость конфигурации.

В конце 1990-х годов компания VMware выпустила VMware Workstation — продукт для виртуализации, включающий гипервизор, который помогает ИТ-администраторам создавать виртуальные машины на одном компьютере под управлением ОС Linux или Windows (x86). Гипервизор позволяет организациям одновременно запускать несколько приложений на одном аппаратном обеспечении, что упрощает управление оборудованием и снижает затраты. Передовые гипервизоры включают такие функции, как отказоустойчивость и высокая доступность, чтобы снизить вероятность простоев и минимизировать их влияние на непрерывность и производительность бизнеса.

Начиная с 2000-х годов в сферу виртуализации вошло множество компаний, включая Microsoft, Red Hat и Citrix Systems. Сегодня многие корпоративные центры обработки данных используют технологии и решения виртуализации, разработанные этими организациями, для создания больших агрегированных пулов хранения и других ресурсов и предоставления этих ресурсов организации в виде гибких и масштабируемых виртуальных машин.

Под виртуализацией систем хранения сегодня обычно понимается емкость, которая накапливается на нескольких физических устройствах и затем становится доступной для перераспределения в виртуализированной среде. Современные ИТ-методологии, такие как гиперконвергентная инфраструктура и контейнеризация, используют преимущества виртуального хранилища, а также виртуальные вычислительные мощности и зачастую виртуальную сетевую емкость.

Пограничные вычисления также опираются на виртуализацию систем хранения. Виртуализация позволяет организациям удовлетворить свои требования к хранению данных и упростить управление и обслуживание систем хранения в средах граничных вычислений. Кроме того, виртуализированные среды хранения более компактны по сравнению с физическими средами и требуют меньше аппаратных и управленческих ресурсов. Все это может обеспечить значительную экономию средств, а также принести пользу организациям с ограниченным пространством и небольшими ИТ-командами.

Хотя виртуализация систем хранения данных ни в коем случае не исчезла, ее в значительной степени затмили облачные вычисления. В этой новой парадигме вычислений организации сами определяют объем и тип необходимого им хранилища. Затем поставщик облачных услуг (CSP) настраивает и предоставляет это хранилище из своих виртуализированных пулов хранения и делает его доступным для организации по требованию. С помощью облачных виртуализированных хранилищ организации могут получить доступ к необходимым им ресурсам хранения, не заботясь о различных задачах управления хранилищем. Более того, поскольку CSP предоставляет ресурсы на основе принципа «плати по факту», компания может контролировать свои расходы и, во многих случаях, ускорить время получения прибыли.