Системы хранения данных (СХД): что это, виды и принципы работы

Основные функции и задачи СХД:

1. Надежное хранение данных. СХД защищают информацию при сбоях оборудования, автоматически делают резервные копии и используют технологию RAID, которая объединяет несколько физических дисков в один логический массив данных. Это отказоустойчивость и производительность работы с данными.

2. Ускорение работы. СХД минимизируют задержки при обращении к данным, поддерживают высокую скорость чтения и записи. А еще оптимизируют работу с часто запрашиваемой информацией.

3. Масштабирование. Можно увеличивать объемы хранилища по мере того, как развивается бизнес и появляются новые данные. Новые диски можно добавлять во время работы системы.

4. Централизованное управление данными. Для всего хранилища — единая точка контроля, которая позволяет назначать пользователям права доступа.

5. Защита данных от несанкционированного доступа. При передаче и хранении информация шифруется, а еще СХД ведет журналы всех операций с данными. Можно выборочно настраивать доступы к конфиденциальной информации.

Выбор СХД зависит от объема информации, требований к скорости и бюджета, которым располагает компания или пользователь. Расскажем о видах СХД, их особенностях и сценариях применения.

По типу организации доступа

Direct Attached Storage (DAS) — это хранилище, которое подключается напрямую к компьютеру или серверу как внешний жесткий диск. Его используют, когда нужна работа без сетевых задержек. Например, для мощных рабочих станций с графическими приложениями или серверов с базами данных, где важна каждая миллисекунда.

Network Attached Storage (NAS) работает как общая сетевая папка, к которой могут обращаться сразу несколько пользователей. Подходит, чтобы хранить общие документы в офисе, коллекции фотографий из путешествий или понравившуюся музыку на своем компьютере. Благодаря несложной настройке такое хранилище часто выбирают небольшие компании и частные пользователи.

Storage Area Network (SAN) — выделенная сеть для хранения данных, которая соединяет сервера с системами хранения. Представьте себе скоростную магистраль, по которой постоянно перемещаются критически важные данные — так и работает SAN. Есть возможность гибкого масштабирования, централизованное управление и настройки для совместного доступа.

Storage Area Network используют крупные компании, чтобы хранить промышленные базы данных, размещать виртуальные серверы и корпоративные системы. Такое решение — надежное, обеспечивает высокую скорость работы, но стоит дороже других вариантов.

По способу работы с данными

Файловые хранилища организуют данные в привычные нам папки и файлы. Для этого используется файловая система — способ, который определяет, как хранятся данные на компьютерных носителях, например жестких дисках, SSD или флешках. Именно эта система определяет, как данные структурированы, где хранятся и как называются. А еще она дает программам и пользователям доступ к хранимой информации.

Хороший вариант для хранения офисных документов, создания систем резервного копирования. Еще подходит для использования не в компаниях, а на персональных компьютерах, допустим, чтобы хранить памятные фото из путешествий.

Блочные хранилища можно представить как чистый лист бумаги, на котором операционная система может создать любую файловую систему с нуля. В отличие от файлового хранилища, где данные расположены в иерархично связанных папках, блочное хранилище предоставляет сырое пространство для работы.

Данные в блочных хранилищах разбиваются на части фиксированного размера, которые записываются на физическое устройство хранения. При работе с блочным хранилищем ОС сама управляет файловой системой, а в файловом хранилище эта ответственность на внешней системе.

Такие хранилища подходят в случаях, когда нужна высокая производительность: для работы СУБД или хранения требовательных приложений.

Объектные S3-хранилища сохраняют данные как отдельные объекты, у каждого из которых есть идентификатор. Еще у каждого объекта есть метаданные, например, кто создал файл, когда его скачали, какая у него тема. Метаданные можно редактировать, чтобы работать было удобнее.

S3-хранилища подходят, чтобы работать с неструктурированным контентом: фотографиями и видео, архивами логов, резервными копиями больших объемов данных.

Зарекомендовавшие себя облачные провайдеры часто предлагают объектные хранилища. IT-инфраструктура провайдеров позволяет масштабироваться, пока остается место в дата-центрах. Благодаря этому S3-хранилище в облаке подойдет, например для нагруженных проектов с Big Data или сайтов с большим трафиком.

Система хранения данных — не какая-то единая программа на сервере, а комплекс компонентов, которые работают вместе. СХД включает в себя физическое оборудование, ПО, сеть и средства управления — все это нужно, чтобы данные хранились надежно, а пользователи могли быстро получить к ним доступ.

Компоненты СХД и функции:

• Контроллеры хранения — специализированные процессоры, которые управляют операциями ввода-вывода. Они обрабатывают запросы, кешируют данные, обеспечивают работу RAID-массивов.

• Дисковая полка (disk enclosure) — устройство, которое представляет из себя корпус с местами для установки HDD или SSD. Кроме дисков на полке есть бэкплэйн (плата, которая объединяет эти диски), интерфейсы связи, модули питания и охлаждения, контроллеры дисков и полки. Она нужна, чтобы централизованно хранить диски и подключать их к основному контроллеру хранения.

• Дисковой массив (disk array или RAID-массив) — логическая система, которая объединяет несколько физических дисков в единый массив.

• Кеш-память — высокоскоростная буферная память, обычно DRAM. Временно хранит данные, к которым пользователи чаще всего обращаются. Так доступ к информации становится гораздо быстрее, благодаря кешу нужную информацию можно не подгружать каждый раз с нуля.

• Система ввода-вывода — это интерфейсы и протоколы SAS, SATA, NVMe. Обеспечивают физическое соединение между компонентами СХД и серверами.

• Ключевые технологии, которые обеспечивают отказоустойчивость и восстановление данных:

• RAID-массивы объединяют диски в логические группы. Если из строя выйдет один диск, данные сохранятся на другом диске из группы.

• Репликация автоматически копирует данные, чтобы те одновременно находились в разных системах хранения. Это позволяет создавать географически распределенные копии для аварийного восстановления, если с данными что-то случится.

• Тонкое выделение ресурсов — технология, которая экономит дисковое пространство. Система не резервирует его сразу, а выделяет по мере того, как поступают и накапливаются данные.

• Многоуровневое хранение автоматически распределяет данные между дисками. Часто используемая информация попадает на скоростные SSD, редко запрашиваемая — на более медленные HDD.

Критерии, по которым стоит выбирать СХД, зависят от целей. Для домашнего хранилища могут подойти и бесплатные решения, главное — выбрать надежного поставщика услуги. Чтобы хранить много информации, нужно рассматривать больше параметров: есть ли шифрование, какие возможности масштабирования, как хранилище работает при повышенных нагрузках.

Рассмотрим факторы, на которые стоит обратить внимание, чтобы не прогадать с выбором СХД.

Надежность и отказоустойчивость. Перед началом работы посмотрите:

• Предусмотрены ли поддержка RAID-массивов, избыточность и «горячая» замены дисков без остановки работы — это снизит риск того, что из-за аппаратного сбоя потеряются данные.

• Используются ли контрольные суммы, есть ли механизмы коррекции ошибок (ECC) для сохранения целостности данных.

Какой класс и ресурс у установленных дисков (SSD или HDD). От этого зависит надежность СХД.

Безопасность данных. Чтобы быть уверенными в сохранности данных, посмотрите, как в хранилище организованы:

• Шифрование данных. Оно должно производиться как в покое, так и при передаче информации — это обеспечит конфиденциальность, защитит сведения от несанкционированного доступа.

• Контроль доступа и аутентификация. Должно быть разграничение прав пользователей, поддержка ролей и многофакторной аутентификации.

• Аудит действий и мониторинг, возможность логирования операций и событий, чтобы выявлять подозрительную активность и предотвращать угрозы.

• Соответствие требованиям законодательства. Особенно важно для организаций, к которым предъявляются особые требования со стороны государства. Это касается, например, субъектов КИИ или операторов персональных данных.

Размер хранилища. Если хотите сохранить фото или загрузить в хранилище два–три фильма в 1 080p, подойдет хранилище на 10–15 ГБ. Для бизнеса нужны пространства побольше, с масштабированием по мере поступления данных и хранением файлов до нескольких ТБ.­

Тип данных. Файловое хранилище подойдет для локального домашнего компьютера. Допустим, чтобы сохранить те же фото из путешествия или фильмы. А S3-хранилище позволит хранить данные любого типа и объема: медиафайлы, письма, бэкапы, образы виртуальных машин, базы данных, Big Data.

Интеграция с другими сервисами. Посмотрите, можно ли использовать в хранилище API или сторонние инструменты, например консольные клиенты или средства разработки.

Часто одной компании сложно учесть сразу все, что нужно для организации СХД. Нужно нанять в штат IT-специалистов, которые будут обслуживать инфраструктуру, закупить мощности. Это можно переложить на облачного провайдера — у него уже есть парк оборудования, сертификации и нужный персонал.

Если захотите разместить СХД в облаке, обратите внимание на:

Соблюдение законодательства. Это важно, если планируете хранить персональные данные клиентов или компания — субъект КИИ. К примеру, инфраструктура Evolution Object Storage размещена в ЦОД Tier III, а данные хранятся в соответствии с 152-ФЗ и УЗ-1.

Расположение дата-центра. Если ЦОД на территории России, ограничения зарубежных регуляторов никак не повлияют на доступ к данным.

Подходящая цена. Она складывается из объема и типа хранилища, лимитов по операциям с данными, исходящего трафика и сервисов, которые используются для работы. Хорошо, если есть возможность протестировать хранилище бесплатно и гибко настроить тариф, чтобы платить только за нужное.

СХД часто используют как основу для внедрения Retrieval Augmented Generation (RAG). Метод улучшает ответы больших языковых моделей за счет того, что LLM обращаются к внешним источникам: базам данных, мануалам, документации, исследованиям и не только. Это уменьшает число галлюцинаций, делает ответы полезнее. А еще RAG позволяет реже дообучать модель, что сэкономит деньги.

Еще одна глобальная тенденция — пристальное внимание к кибербезопасности. По прогнозам аналитического агентства Gartner, к 2030 году более 50% расходов на IT-безопасность будут направлены на превентивные меры. Для сравнения, в 2024 на предотвращение угроз тратили менее 5%. Также есть предположение, что к 2030 году общих уязвимостей и рисков кибербезопасности станет на 300% больше, чем в 2025. Компании будут делать ставку на то, чтобы не допустить угроз, а не разбираться с последствиями.

Системы хранения данных найдут применение и на сервере корпорации, и на домашнем компьютере. СХД подойдут для задач разного масштаба — чтобы хранить фотографии, видео, музыку или приложения, базы данных и Big Data.

Когда выбираете СХД, ориентируйтесь на потребности. Как вариант — потестируйте бесплатный вариант хранилища в облаке, а потом переключитесь на версию помощнее.

Перед началом работы изучите, как облачный провайдер обеспечивает безопасность данных и масштабирование. Посмотрите на способы защиты данных, есть ли шифрование, сколько данных можно загрузить и насколько гибко растет объем хранилища.