В принципе все системы хранения данных классифицируется как блочные, файловые или объектные, причем эти термины вытекают из того, как осуществляется доступ к данным в каждом из видов.
По сути, физическое хранилище, в котором хранятся данные, имеет общую характеристику — оно содержит носитель, который может регистрировать наличие или отсутствие битов данных, и не важно, это будет самый медленный жесткий диск или сверхбыстрая флэш-память NVMe. Основное отличие между блочным, файловым и объектным хранилищем — это то, как именно они формируют общие данные из этой элементарной битовой информации.
Большая часть того, что мы знаем о способах хранения данных, основано на концепции файловой системы, которой уже несколько десятилетий.
Файловый и блочный — это методы доступа к хранилищу на основе файловой системы и различаются эти методы своим отношением к ней.
В обоих случаях есть файловая система. Все мы с ними знакомы — FAT и NTFS в Windows, ext в Linux и так далее. Они организуют данные в файлы и папки в древовидной иерархии и указывают путь к файлу, сохраняя при этом небольшой объем метаданных о файле.
Это то, что мы видим снаружи. Но внутри файловая система также обрабатывает адресацию к физическому расположению блоков хранения на самом носителе.
Ключевое различие между файловым доступом/NAS и блочным доступом/SAN заключается в том, что в NAS файловая система находится в самом массиве. Здесь запросы ввода-вывода приложения проходят через файловую систему, находящуюся на аппаратном обеспечении NAS, доступ к которой осуществляется как к тому или диску. В SAN файловая система является внешней по отношению к массиву, и запросы ввода-вывода обрабатываются файловой системой на сервере, при этом для доступа к данным из SAN требуется только информация на блочном уровне.
Системы хранения с блочным доступом — например, развернутые в виде сетевых (SAN) систем — предоставляют только средства для адресации блоков хранения из файловых систем, баз данных и т. д. Когда вы покупаете SAN/блочное хранилище, вы просто покупаете массив хранения и возможность настраивать тома, чтобы сделать их доступными для приложений через файловую систему, находящуюся в другом месте в программном стеке.
SAN позволяют изменять блоки внутри целых файлов, поэтому они очень хорошо подходят для обработки баз данных и транзакций.
Системы хранения с файловым доступом — обычно используемые как сетевое хранилище (NAS) — проще всего понять как противовес вышесказанному. Другими словами, когда вы покупаете устройство NAS или связанный кластер из горизонтально масштабируемых узлов NAS, они поставляются со своей собственной файловой системой, представляя приложениям и пользователям в знакомом формате буквы дисков. Все, что делает SAN, также выполняется в системе NAS, но скрыто.
NAS лучше всего подходит для хранения и доступа к целым файлам и имеет системы блокировки, предотвращающие одновременное изменение и повреждение файлов.
SAN и NAS хорошо подходят для того, что они делают, но имеют недостатки. Древовидная иерархия файловой системы может довольно легко обрабатывать миллионы файлов, но после масштабирования до миллиардов она может начать замедляться.
Объектные системы хранения совсем другое. Они основаны на «плоской» структуре с доступом к объектам через уникальные идентификаторы, что несколько похоже на то, как веб-сайты адресуются в системе доменных имен (DNS). Это отличает их от иерархической древовидной структуры файловой системы.
Системы с объектным доступом обеспечивает огромную масштабируемость. Это потому, что они работают иначе, чем протоколы SAN и NAS. У них нет файловой системы, которая становится громоздкой по мере ее увеличения, но, как и у NAS, изменения происходят на уровне файлов, но без механизма блокировки файлов.
У объектов также есть метаданные, и многие из них потенциально могут быть определены заказчиком. Это означает, что любой атрибут может быть связан с объектом в его метаданных заголовка: приложение, с которым он связан, его характеристики защиты данных, информация о многоуровневости, когда его следует удалить, а также настраиваемые атрибуты, связанные с бизнесом или организацией.
Таким образом, объектное хранилище в высшей степени подходит для аналитики, будучи доступным для поиска в очень больших наборах данных практически по любому атрибуту.
Однако почти всегда данные объектного хранилища не являются строго согласованными, то есть, если вы просматриваете объект, который был недавно изменен, нет гарантии, что это самая последняя копия, если в ней часто вносятся изменения. Напротив, данные SAN и NAS могут быть строго согласованными, с возможностью зеркалирования наборов данных почти в реальном времени и обеспечивая гарантию безопасности.
Кроме того, хранилище объектов не может работать так же хорошо, как SAN, а иногда и NAS, в основном из-за больших служебных заголовков файлов. Оно также не может предложить манипуляцию на уровне блоков суб-файлов, необходимую для работы с базами данных и транзакционной работы, которую может выполнять SAN.
По этим ключевым причинам объектное хранилище лучше всего подходит для больших наборов неструктурированных данных, в которых объекты меняются не так часто.
Компания NetApp получила лучшую оценку соотношения цена/производительность в тестах SPC-2 благодаря all-flash массиву NVMe EF600, работающему в режиме end-to-end. SPC-2 измеряет пропускную способность и соотношение цена/производительность, используя трехкомпонентную рабочую нагрузку: обработку больших файлов, запрос к большим БД и видео по запросу. SPC-1, родственный ему тест производительности Storage Performance Council, ориентирован на IOPS массива хранения данных, [...]
RAID-массив защищает данные, повышает производительность и доступность системы хранения. Узнайте о различных типах RAID, плюсах и минусах, а также о том, где они лучше всего работают. RAID - это распространенный метод защиты данных приложений на жестких дисках и твердотельных накопителях, причем в различных типах RAID уровень защиты уравновешивается ценой. Чем выше уровень защиты, тем выше [...]
Флэш-массивы достаточно распространены в средах для работы критически важных приложений, где время отклика и производительность имеет существенное значение. Но если сделать шаг назад к тому, где происходит процесс архивирования, то гибридных систем хранения данных будет достаточно много. Это связано с тем, что обычные жесткие диски сохранили одно преимущество перед твердотельными: емкость. В шпиндельных жестких дисках [...]
Huawei продвигает преимущества чипа Arm в OceanStor на парижской выставке Китайский гигант трубит о "зеленых" преимуществах своего процессорного оборудования Arm в линейке OceanStor Dorado V6, которая предлагает огромную емкость и производительность на высоком уровне. Китайский производитель аппаратного обеспечения Huawei продемонстрировала европейским предприятиям свою систему OceanStor Dorado V6, которая обеспечивает доступ к файлам, блокам и объектам [...]
Что такое аппаратный RAID (аппаратный избыточный массив независимых дисков)? Аппаратный RAID - это разновидность RAID, при которой обработка выполняется на материнской плате или отдельной RAID-карте. В аппаратном RAID логические диски конфигурируются и зеркалируются вне системы хранения данных. Физический RAID-контроллер управляет массивом, представляя данные приложениям и операционным системам в виде логических единиц. Контроллер располагается на шине [...]
Блочные, файловые и объектные СХД
В принципе все системы хранения данных классифицируется как блочные, файловые или объектные, причем эти термины вытекают из того, как осуществляется доступ к данным в каждом из видов.
По сути, физическое хранилище, в котором хранятся данные, имеет общую характеристику — оно содержит носитель, который может регистрировать наличие или отсутствие битов данных, и не важно, это будет самый медленный жесткий диск или сверхбыстрая флэш-память NVMe. Основное отличие между блочным, файловым и объектным хранилищем — это то, как именно они формируют общие данные из этой элементарной битовой информации.
Большая часть того, что мы знаем о способах хранения данных, основано на концепции файловой системы, которой уже несколько десятилетий.
Системы хранения с блочным доступом — например, развернутые в виде сетевых (SAN) систем — предоставляют только средства для адресации блоков хранения из файловых систем, баз данных и т. д. Когда вы покупаете SAN/блочное хранилище, вы просто покупаете массив хранения и возможность настраивать тома, чтобы сделать их доступными для приложений через файловую систему, находящуюся в другом месте в программном стеке.
SAN позволяют изменять блоки внутри целых файлов, поэтому они очень хорошо подходят для обработки баз данных и транзакций.
Системы хранения с файловым доступом — обычно используемые как сетевое хранилище (NAS) — проще всего понять как противовес вышесказанному. Другими словами, когда вы покупаете устройство NAS или связанный кластер из горизонтально масштабируемых узлов NAS, они поставляются со своей собственной файловой системой, представляя приложениям и пользователям в знакомом формате буквы дисков. Все, что делает SAN, также выполняется в системе NAS, но скрыто.
NAS лучше всего подходит для хранения и доступа к целым файлам и имеет системы блокировки, предотвращающие одновременное изменение и повреждение файлов.
Объектные системы хранения совсем другое. Они основаны на «плоской» структуре с доступом к объектам через уникальные идентификаторы, что несколько похоже на то, как веб-сайты адресуются в системе доменных имен (DNS). Это отличает их от иерархической древовидной структуры файловой системы.
Системы с объектным доступом обеспечивает огромную масштабируемость. Это потому, что они работают иначе, чем протоколы SAN и NAS. У них нет файловой системы, которая становится громоздкой по мере ее увеличения, но, как и у NAS, изменения происходят на уровне файлов, но без механизма блокировки файлов.
У объектов также есть метаданные, и многие из них потенциально могут быть определены заказчиком. Это означает, что любой атрибут может быть связан с объектом в его метаданных заголовка: приложение, с которым он связан, его характеристики защиты данных, информация о многоуровневости, когда его следует удалить, а также настраиваемые атрибуты, связанные с бизнесом или организацией.
Таким образом, объектное хранилище в высшей степени подходит для аналитики, будучи доступным для поиска в очень больших наборах данных практически по любому атрибуту.
Однако почти всегда данные объектного хранилища не являются строго согласованными, то есть, если вы просматриваете объект, который был недавно изменен, нет гарантии, что это самая последняя копия, если в ней часто вносятся изменения. Напротив, данные SAN и NAS могут быть строго согласованными, с возможностью зеркалирования наборов данных почти в реальном времени и обеспечивая гарантию безопасности.
Кроме того, хранилище объектов не может работать так же хорошо, как SAN, а иногда и NAS, в основном из-за больших служебных заголовков файлов. Оно также не может предложить манипуляцию на уровне блоков суб-файлов, необходимую для работы с базами данных и транзакционной работы, которую может выполнять SAN.
По этим ключевым причинам объектное хранилище лучше всего подходит для больших наборов неструктурированных данных, в которых объекты меняются не так часто.
Related Posts
NetApp лидирует в тестах SPC-2 price performance
Объяснение уровней RAID: 0, 1, 5, 6, 10 и 50
All-Flash или Hybrid Flash? Какую систему хранения выбрать?
Huawei продвигает чип Arm в OceanStor
Что такое аппаратный RAID?