Тиринг данных в объектном хранилище

О тиринге данных

• Standard — горячее хранилище с высоким уровнем доступа. Подходит для постоянно используемых объектов.

• Warm — теплое хранилище. Подходит для информации, доступ к которой требуется несколько раз в год.

• Cold — холодное хранилище. Подходит для редко используемых объектов с частотой обращения на уровне одного раза в год или реже.

Архитектура решения

1. Клиент (пользователь или приложение) отправляет GET-запрос к объекту с классом хранения Cold или Warm.

2. Информация об обращении к целевому бакету попадает в Cloud Trace Sevice — сервис для логирования событий.

3. Cloud Trace Service формирует лог и отправляет его в бакет для хранения логов.

4. OBS сообщает сервису для отправки уведомлений Simple Message Notification о появившемся файле с логами в бакете.

5. Уведомление из Simple Message Notification становится триггером для запуска функции в FunctionGraph — сервисе для выполнения кода в бессерверной среде по триггеру.

6. Функция в FunctionGraph отрабатывает и перемещает объект в целевом бакете в класс хранения Standard.

Подготовьте бакет для хранения логов в OBS

1. На панели управления в разделе Storage откройте Object Storage Service.

2. Перейдите к созданию бакета — нажмите Create Bucket.

3. В поле Bucket Name введите название, например «logs-for-tiering».

4. В поле Storage Class выберите для хранения логов класс Warm.

5. Выберите проект в поле Enterprise Project. Проекты помогают управлять доступом к облачным ресурсам. Хорошая практика — создать новый проект и поместить бакет в него, а не использовать проект по умолчанию «default».

6. Подтвердите создание — нажмите Create Now.

Создайте трекер в CTS

1. На панели управления в разделе Management & Deployment откройте Cloud Trace Service (CTS).

2. Убедитесь, что в качестве IAM-проекта на верхней панели выбран проект по умолчанию — «ru-moscow».

3. На вкладке Trackers перейдите к созданию трекера — нажмите Create Tracker.

4. Задайте параметры трекера:

   • Tracker Type — укажите тип Data.

   • Tracker Name — введите название, например «obs-logs».

   • OBS Bucket — выберите бакет с объектами, для которых вы настраиваете тиринг данных. CTS будет фиксировать обращения к объектам этого бакета и отправлять логи о таких событиях.

   • В блоке Transfer to OBS в поле OBS Bucket выберите созданный ранее бакет для хранения логов.

   • В поле Retention Period задайте время хранения логов в бакете, например 60 дней.

5. Сохраните трекер — нажмите OK.

Настройте топик в SMN

1. На панели управления в разделе Application откройте Simple Message Notification (SMN).

2. В разделе Topic Management → Topics перейдите к созданию топика — нажмите Create Topic.

3. Задайте параметры топика:

   • Topic Name — введите название топика, например «bucket-request».

   • Enterprise Project — выберите созданный ранее проект.

4. Сохраните топик — нажмите OK.

5. В строке с созданным топиком нажмите More → Configure Topic Policy, чтобы задать политику работы топика.

6. В списке Services that can publish messages to this topic отметьте сервис OBS и сохраните политику кнопкой OK.

Настройте уведомление о создании файла в бакете

1. На панели управления в разделе Storage откройте Object Storage Service.

2. Выберите созданный для хранения логов бакет.

3. Нажмите Event Notification → Create, чтобы добавить уведомление.

4. Задайте параметры уведомления:

   • Name — введите название, например «event-create-file».

   • Events — выберите тип события ObjectCreated.

   • В выпадающем списке Select the project to which the SMN topic belongs выберите IAM-проект, в котором создан топик.

   • В выпадающем списке Select an SML topic выберите созданный ранее топик.

5. Сохраните уведомление — нажмите OK.

Создайте агентство для FunctionGraph в IAM

1. На панели управления в разделе Management & Deployment откройте Identity and Access Management (IAM).

2. На странице Agencies перейдите к созданию агентства — нажмите Create Agency.

3. Задайте параметры агентства:

   • Agency Name — введите название агентства, например «for-functiongraph».

   • Agency Type — задайте тип Cloud Service.

   • Cloud Service — выберите FunctionGraph.

   • Validity Period — выберите Unlimited.

   • Нажмите Assign Permissions и выберите политики OBS Administrator и SMN Administrator.

4. Сохраните агентство — нажмите OK.

Создайте функцию в FunctionGraph

1. На панели управления в разделе Computing откройте FunctionGraph.

2. На странице Functions → Function List перейдите к созданию функции — нажмите Create Function.

3. Задайте параметры функции:

   • Function Name — введите название, например «data-tiering».

   • Agency — выберите созданное на предыдущем шаге агентство.

   • Enterprise Project — выберите созданный ранее проект.

     Примечание

     Функция должна принадлежать тому же проекту, что и топик SMN.

   • Runtime — укажите среду выполнения кода. В нашем примере код написан на Python 3.6

   • В редактор вставьте код функции.

     Пример реализации функции тиринга на Python 3.6

4. Сохраните функцию — нажмите Create Now.

5. На вкладке Code в поле Dependencies нажмите Select, чтобы прикрепить зависимость.

6. Выберите obssdk-3.0.2 для Python и нажмите OK. Этот SDK поддерживает Python версии 2.7.8 и позднее, а также Python 3.3–3.6.

7. На вкладке Configuration убедитесь, что в поле Agency выбрано нужное агентство.

8. В поле Execution Timeout (s) укажите время таймаута в секундах. С учетом восстановления из класса хранения Cold необходимо задать не менее 370 секунд.

9. На вкладке Triggers нажмите Create Trigger, чтобы создать триггер.

10. Задайте параметры триггера:

    • Trigger Type — выберите тип Simple Message Notification (SMN).

    • Topic Name — выберите созданный ранее топик.

11. Сохраните триггер — нажмите OK.