Что такое объектное хранилище S3 и как его используют

В качестве альтернативы блочным и файловым хранилищам появились объектные, позволяющие хранить петабайты данных и масштабироваться на лету. В марте 2006 года Amazon представил рынку хранилище Amazon Simple Storage Service (S3), впоследствии ставшее наиболее популярной реализацией объектного хранилища.

Технология S3 используется многими облачными провайдерами для предоставления своим клиентам услуг хранения большого объема данных. Cloud.ru предлагает услугу объектного хранилища S3 на базе аппаратного комплекса Dell EMC ECS Enterprise. Также S3 является одной из основных технологий, используемой такими популярными сервисами, как Netflix, Pinterest, Dropbox, СберДиск и другими.

В этой статье рассказываем, что такое объектное хранилище S3, в чем его отличия от классических способов хранения данных и как бизнес использует его для своих задач.

Объектное хранилище S3 (Object storage S3) — это облачный сервис, позволяющий хранить файлы любого типа и объема. Чаще всего его используют для хранения неструктурированных данных: изображений, видео, программного кода, архивов документов и так далее.

В объектном хранилище файлы представлены в виде объектов. Обычно каждый объект состоит из трех основных компонентов: содержимого объекта, метаданных объекта и его идентификатора.

Уникальный идентификатор позволяет быстро находить файл в хранилище и управлять им. Метаданные содержат расширенную информацию об объекте:

• имя;

• размер;
  

• тип содержимого;
  

• атрибуты жизненного цикла;
  

• URL-адрес;
  

• любую другую, определенную пользователем.

Оперируя метаданными можно выгружать объекты нужного типа, назначать политики хранения и удаления для определенных объектов (жизненный цикл), проводить анализ данных и так далее.

Для удобства хранения объектов создаются специальные контейнеры — корзины (buckets). Они имеют уникальный ID и могут содержать объекты разного типа и размера. Например, можно создать корзину для загрузки архивных документов и дать доступ к ней только сотрудникам нужного отдела. Помимо этого, можно предоставить доступ для загрузки данных определенным сотрудникам, а всем остальным только для чтения.

В S3 объекты хранятся в плоском адресном пространстве, без иерархической структуры, как в файловом хранилище. Это дает возможность получать доступ к ним напрямую через API или HTTP/HTTPS из любой точки мира.

Коротко расскажем об отличиях трех основных видов хранилищ — файлового, блочного и объектного.

Файловое хранилище подходит для хранения любых видов информации — баз данных, email-сообщений, файлов, изображений, документов, видео и так далее.

Данные хранятся в виде единиц информации в папках — это также называется иерархическим хранением, имитирующим способ размещения бумажных каталогов. Когда вы хотите получить доступ к данным, вам нужно знать путь, по которому их найти. Например: /home/myuser/myphotos/Spain/Madrid.jpeg

Достоинства:

• привычный для простого пользователя метод хранения данных, не требует высокой квалификации для настройки и использования.

Ограничения:

• не подходит для хранения большого объема данных;

• ограничения на размер файла и длину имени;
  

• невозможно управлять одновременными подключениями с тысячи компьютеров;
  

•  нужно следить за исчерпанием объема ресурсов.
  

Блочное хранилище в основном используется для хранения структурированных данных — например, больших баз данных или высокопроизводительных файловых систем виртуальных машин.

В блочном хранилище файл разделяется на отдельные блоки фиксированного размера, а затем эти блоки располагаются на одном или разных узлах хранения. Каждый блок данных имеет свой идентификатор. Когда пользователь или приложение запрашивает данные из блочной системы хранения, выполняется повторная сборка блоков и передача данных пользователю или приложению.

Достоинства:

• высокая скорость передачи данных и производительность.

Ограничения:

• высокая стоимость в сравнении с файловым и объектным хранилищами;

• требуется квалификация, чтобы настроить ПО для работы с блочным хранилищем;

• нужно следить за исчерпанием объема ресурсов.
  

В объектном хранилище S3, как мы говорили ранее, каждый файл представлен в качестве объекта с идентификатором и метаданными. Нахождение объекта в плоском адресном пространстве дает возможность легко запрашивать доступ к объекту по его идентификатору, в отличие от файловой системы, где нужно знать точный путь к файлу для его нахождения.

В объектном хранилище в метаданные можно добавить дополнительную, более подробную информацию о файлах данных, хранящихся в объекте. Например, метаданные к видеофайлу могут включать информацию о месте съемке, типе камеры и даже людях, находящихся в каждом кадре. В блочном хранилище метаданные могут содержать только базовые атрибуты файлов.

Достоинства:

• доступ к данным через HTTP API;

• бесконечная масштабируемость;
  

• быстрый поиск объектов за счет расширенных метаданных и плоского адресного пространства;
  

• георепликация (хранение копий объектов на географически распределенных серверах);
  

• хранение данных любого типа и размера.
  

Ограничения:

•  требуется квалификация для настройки ПО при работе с S3 через API;

• невысокая скорость передачи данных в сравнении с блочным хранилищем.

Выбрать подходящий способ хранения данных непросто, это требует оценки многих факторов — какие данные хранить, в каком объеме, какие операции с ними нужно проводить и кому нужен доступ к этим данным. Нередко разные виды хранилищ используют в комбинации, чтобы получить максимальную эффективность и сократить затраты. Выбор подходящего хранилища — это объемная тема и мы разберем ее в следующих статьях.

Объектное хранилище покрывает потребности бизнеса любого масштаба — от ИП до крупных корпораций. Его используют как основное место содержания данных или как дополнительное к существующему файловому или блочному хранилищу.

1. Хранение резервных копий и аварийное восстановление
   Бизнес использует S3 для хранения резервных копий важных данных. Например, если веб-сайт является основным каналом продаж, то размещение резервных копий сайта в объектном хранилище может обезопасить от убытков, связанных с потерей контроля над ресурсом. Причинами бывают удаление сайта из-за взлома, проблемы с бэкапом на стороне хостинг-провайдера, отсутствие локальных копий сайта и другие.
   
   Объектное хранилище также позволяет настроить версионирование, чтобы получать копии данных за все время хранения.
   
   Большинство систем резервного копирования (СРК) поддерживают нативную интеграцию с S3-хранилищем. Подробнее о настройке СРК для загрузки бэкапов в объектное хранилище — в руководстве пользователя S3.
   
   Объектное хранилище также используют для хранения и быстрого восстановления образов рабочих инфраструктур — например, виртуальных машин.


2. Хранение файлов мобильных и веб-приложений
   Доступ к данным через HTTP API, быстрое и почти неограниченное масштабирование объектного хранилища упрощает разработку приложений. Благодаря метаданным некоторые операции с объектами можно выполнять через API непосредственно в системе хранения.
   
   Например, в S3 находятся фотографии, которые веб-приложение предоставляет по запросу пользователя. Чтобы передать пользователю коллекцию фото по критериям, которые он выбрал (дата, местоположение, категория и другие), приложению не нужно на своей стороне проводить операции сортировки и группировки. Достаточно через API отправить запрос пользователя напрямую в хранилище и получить в ответ список фотографий с соответствующим атрибутом в метаданных. Затем приложение просто передает пользователю полученные от S3 фотографии. Эта возможность S3 динамически генерировать коллекции данных по заданным критериям также очень важна при работе с Big Data.


3. Хранение Big Data
   Ритейл, банки, технологические предприятия, компании-разработчики машинного обучения и все те, кто собирает большие массивы неструктурированных данных, используют S3 для хранения и обработки Big Data.


4. Хранение мультимедиа-файлов
   СМИ, типографии, цифровые библиотеки — компании, генерирующие большие объемы мультимедиа-контента (изображений, видео, аудио), могут использовать S3 для создания архива таких данных. Бесконечная масштабируемость S3 позволяет сэкономить на закупке дискового пространства и не беспокоиться об исчерпании лимита.
   
   Объектное хранилище S3 также часто используют в комплексе с услугой CDN (Content Delivery Network) — для доставки мультимедиа-контента без задержек для пользователей в любой точке мира.


5. Хранение архивных данных
   В объектном хранилище можно организовать архив информации, к которой редко требуется доступ — документации, отчетов, видеозаписей, системных логов, транзакций, записей разговоров сотрудников и так далее. Для хранения мало используемой информации выгодно подключить тариф так называемого «холодного» хранения — об этом читайте далее в статье в разделе «Тарифы».


6. Хранение персональных данных (ФЗ-152)
   Объектное хранилище S3 от Cloud.ru прошло оценку соответствия требованиям безопасности информации по 152-ФЗ и получило аттестат. Согласно ему в S3 можно хранить персональные данные, которые по закону и подзаконным актам требуют обеспечения до 1 уровня защищенности включительно. К ним относится: ФИО, паспортные данные, расовая или национальная принадлежность, политические взгляды, религиозные или философские убеждения, состояние здоровья, биометрия и другое.

Экономичность. В большинстве случаев затраты на хранение большого массива данных в облаке меньше, чем на приобретение и обслуживание оборудования. К тому же облако выгоднее, так как вы платите только за потребленные ресурсы, а все затраты на поддержку физической инфраструктуры берет на себя облачный провайдер.

Гибкость. S3 можно использовать основное хранилище данных, а также настроить интеграцию с существующими хранилищами. Например, держать важные данные, к которым нужен быстрый доступ, на блочных (недешевых) хранилищах, а резервные копии этих данных поместить в S3 (сэкономить место на диске и средства).

Безопасность данных. В объектном хранилище S3 от Cloud.ru обеспечивается за счет:

1. IAM (Identity and Access Management). Функция IAM гарантирует, что каждый запрос доступа к данным, размещенным в S3, будет идентифицирован, аутентифицирован и авторизован. IAM позволяет добавлять пользователей, роли и группы для каждого хранилища.
2. Гибкой политики доступа, позволяющей задавать для пользователей или приложений разрешения на действия с объектами в корзине.

Надежность хранения данных в объектном хранилище S3 от Cloud.ru составляет 99,999999999% и достигается за счет:

1. Современной аппаратной инфраструктуры. Облачное хранилище Cloud.ru построено на базе High-End решений и размещается в дата-центрах уровня Tier III.

2. Репликации (копировании) объектов на нескольких географически распределенных серверах.

Быстрая масштабируемость. В S3 можно хранить практически неограниченный объем объектов. При этом хранилище растет вместе с загружаемым объемом данных, без какого-либо запроса или контроля со стороны клиента. Это позволяет бизнесу не тратить время на планирование, закупку и настройку дополнительных хранилищ.

Облачные провайдеры, как правило, предлагают тарифы горячего и холодного режима хранения. Тарифы включают в себя стоимость потребленного объема и трафик.

Горячий режим хранения — подходит для данных, которые часто запрашиваются и скачиваются, например: рабочие документы, файлы общего пользования, видео, изображения и так далее. При этом за хранение стоимость будет выше, чем за трафик.

Холодный режим хранения — подходит для редко используемых данных, к которым доступ нужен нечасто: архивы документов, логи транзакций, резервные копии. Здесь трафик будет дороже, чем хранение.

Cloud.ru предлагает тарифы горячего и холодного хранения. Расчет происходит по системе Pay as you go — учитывается объем потребленных ресурсов (Пб), исходящий трафик и API-запросы. При этом за входящий трафик (загрузку данных в облако) клиент не платит.

Cloud.ru предоставляет бесплатный тестовый доступ к хранилищу на 14 дней. Заполните форму, чтобы узнать больше об условиях и получить тестовый доступ к хранилищу.

Объектное хранилище S3 — инструмент для хранения любых типов данных в исходном виде: аудио и видеофайлов, документов, резервных копий, образов виртуальных машин, Big Data, персональных данных.

Основные технологические преимущества S3 — хранение объектов в плоском адресном пространстве, использование расширенных метаданных объектов и практически бесконечная масштабируемость.

Объектное хранилище может использоваться как самостоятельное хранилище, а также как дополнение к уже работающим дисковым и блочным хранилищам. S3 обеспечивает надежное и продолжительное хранение неограниченного числа данных и файлов. Пользователи могут получать доступ к данным в хранилище через интернет по протоколу HTTP/HTTPS, а веб-приложения могут работать с объектами по API.

S3 позволяет сократить расходы на хранение и снизить нагрузку на текущие мощности. Чтобы узнать подробности об услуге Cloud.ru «Объектное хранилище S3», тарифах и заказать тестовый доступ — заполните форму.