tocdepth

2

Облачная платформа для работы с данными

Решение для работы с данными в облаке Advanced реализуется с использованием универсальной платформы для работы с данными DataArts Studio и обеспечивает следующие возможности:

  • Построение процессов ETL в облаке.

  • Гибкое управление временем работы кластеров пакетной миграции (отключение и включение).

  • Возможность подключения к множеству систем.

  • Наличие инструмента для построения процессов получения и обработки данных.

  • Интеграция данных в реальном времени и по расписанию.

  • Автомасштабирование для ресурсов получения данных в реальном времени.

Построение платформы для работы с данными в облаке Advanced имеет следующие преимущества и риски:

Преимущества решения

Риски

  • Минимальные настройки для начала работы.

  • Возможность интеграции данных из облака, собственного ЦОДа и сторонних провайдеров.

  • Возможность миграции баз данных целиком и миграции сценариев (Hadoop, Hbase, Hive).

  • Отказоустойчивость «из коробки».

  • Единый сервис для настройки подключений к данным и составления пайплайнов обработки данных.

  • Минимальные затраты на поддержку.

  • Подключение к данным в хранилищах данных (DWS, DLI), Hadoop, объектных хранилищах (S3), файловых системах, реляционных и NoSQL базах данных, Kafka и Elasticsearch.

Имеются ограничения с точки зрения сервисов применяемых в решении.

Общая схема

../../_images/schm__typical-solutions_adv_on-pagers-tools_dataarts-studio.svg

Описание решения

Предварительные требования:

  • В тенанте должен быть создан бакет в сервисе OBS.

  • Создан и настроен кластер с ресурсами MRS.

  • Создан и настроен кластер с ресурсами DWS.

  • Создан и настроен инстанс DataArts Studio.

  • Сервис CTS ведет запись всех операций, в том числе операций с ресурсами DataArts Studio, и результатов выполнения заданий.

Реализация

Список последовательных действий при настройке решения:

  1. Создание целевого сервера CTS для записи всех операций и результатов выполнения заданий.

  2. Создание IAM-пользователя с правами DAYU Administrator.

  3. Создание целевого бакета в сервисе OBS.

  4. Подготовка исходного бакета.

  5. Создание инстанса DataArts Studio.

  6. Подготовка кластера CDM.

  7. Создание коннекторов для кластера CDM.

  8. Создание и запуск задания на миграцию данных.

  9. Просмотр результатов миграции.

См.также

DataArts Studio. Быстрый старт

Запустили Evolution free tier
для Dev & Test
Получить