Облачная платформа для работы с данными
Решение для работы с данными в облаке Advanced реализуется с использованием универсальной платформы для работы с данными DataArts Studio и обеспечивает следующие возможности:
-
Построение процессов ETL в облаке.
-
Гибкое управление временем работы кластеров пакетной миграции (отключение и включение).
-
Возможность подключения к множеству систем.
-
Наличие инструмента для построения процессов получения и обработки данных.
-
Интеграция данных в реальном времени и по расписанию.
-
Автомасштабирование для ресурсов получения данных в реальном времени.
Построение платформы для работы с данными в облаке Advanced имеет следующие преимущества и риски:
Преимущества решения | Риски |
---|---|
| Имеются ограничения с точки зрения сервисов применяемых в решении. |
Общая схема
Описание решения
- Предварительные требования:
-
В тенанте должен быть создан бакет в сервисе OBS.
-
Создан и настроен кластер с ресурсами MRS.
-
Создан и настроен кластер с ресурсами DWS.
-
Создан и настроен инстанс DataArts Studio.
-
Сервис CTS ведет запись всех операций, в том числе операций с ресурсами DataArts Studio, и результатов выполнения заданий.
Реализация
Список последовательных действий при настройке решения:
-
Создание целевого сервера CTS для записи всех операций и результатов выполнения заданий.
-
Создание IAM-пользователя с правами DAYU Administrator.
-
Создание целевого бакета в сервисе OBS.
-
Подготовка исходного бакета.
-
Создание инстанса DataArts Studio.
-
Подготовка кластера CDM.
-
Создание коннекторов для кластера CDM.
-
Создание и запуск задания на миграцию данных.
-
Просмотр результатов миграции.
- Общая схема
- Описание решения
- Реализация