Облачная платформа для работы с данными

Решение для работы с данными в облаке Advanced реализуется с использованием универсальной платформы для работы с данными DAYU, которое обеспечивает следующие возможности:

  • Построение процессов ETL в облаке.

  • Гибкое управление временем работы кластеров пакетной миграции (отключение и включение).

  • Возможность подключения к множеству систем.

  • Наличие инструмента для построения процессов получения и обработки данных.

  • Интеграция данных в реальном времени и по расписанию.

  • Автомасштабирование для ресурсов получения данных в реальном времени.

Построение платформы для работы с данными в облаке Advanced имеет следующие преимущества и риски:

Преимущества решения

Риски

  • Минимальные настройки для начала работы.

  • Возможность интеграции данных из облака, собственного ЦОДа и сторонних провайдеров.

  • Возможность миграции баз данных целиком и миграции сценариев (Hadoop, Hbase, Hive).

  • Отказоустойчивость «из коробки».

  • Единый сервис для настройки подключений к данным и составления пайплайнов обработки данных.

  • Минимальные затраты на поддержку.

  • Подключение к данным в хранилищах данных (DWS, DLI), Hadoop, объектных хранилищах (S3), файловых системах, реляционных и NoSQL базах данных, Kafka и Elasticsearch.

Имеются ограничения с точки зрения сервисов применяемых в решении.

Общая схема

../../_images/schm__typical-solutions_adv_on-pagers-tools_dayu.svg

Описание решения

Предварительные требования:

  • В тенанте должен быть создан бакет в сервисе OBS.

  • Создан и настроен кластер с ресурсами MRS.

  • Создан и настроен кластер с ресурсами DWS.

  • Создан и настроен инстанс DAYU.

  • Запись всех операций, в том числе операций с ресурсами DAYU, и результатов выполнения заданий выполняется сервисом CTS.

Реализация

Список последовательных действий при настройке решения:

  1. Создание целевого сервера CTS для записи всех операций и результатов выполнения заданий.

  2. Создание IAM-пользователя с правами Администратора инстанса DAYU.

  3. Создание целевого бакета в сервисе OBS.

  4. Подготовка исходного бакета.

  5. Создание инстанса DAYU.

  6. Подготовка кластера CDM.

  7. Создание коннекторов для кластера CDM.

  8. Создание и запуск задания на миграцию данных.

  9. Просмотр результатов миграции.

См.также

Data As You Use. Быстрый старт