Миграция средствами CDM
Миграция с использованием средств CDM реализуется на основании паттернов миграции данных:
из клиентского ЦОДа в PaaS облака Advanced;
из S3 совместимого хранилища в сервис OBS облака Advanced.
Миграция баз данных из клиентского ЦОДа в PaaS облака Advanced
Паттерн миграции баз данных из клиентского ЦОДа в PaaS облака Advanced имеет следующие преимущества и риски:
Преимущества паттерна | Риски |
|---|---|
Решение для миграции клиентской базы данных типа PostgreSQL в PaaS сервис RDS PostgreSQL облака Advanced |
|
Общая схема
Описание паттерна
Предварительные требования:
В тенанте должны быть созданы как минимум одна VPC и одна подсеть (Subnet).
Должен быть создан целевой PaaS сервис Relational Database Service (RDS) типа PostgreSQL.
Должен быть создан инстанс CDM в сервисе DataArts Studio.
Для соединения с исходной и целевой базой данных используется Java Database Connectivity (JDBC).
Экстракторы для извлечения данных базируются на решении Apache Sqoop.
Процесс миграции осуществляется при помощи сервиса Cloud Data Migration (CDM) в консоли Advanced.
Чтобы начать миграцию, пользователь настраивает задание миграции типа Entire DB Migration в разделе Job Management.
При настройке задания миграции:
Шаг Configure Basic Information:
выбираются подключения к исходной и целевой базам данных;
выбирается Schema/Table Space, в которой находятся таблицы с данными для переноса.
Шаг Map Field — происходит маппинг таблиц исходной и целевой баз данных.
Шаг Configure Task — запускается задание миграции.
Миграция происходит по интернету.
Процесс миграции состоит из запуска параллельных экстракторов, каждый из которых отвечает за одну таблицу данных.
Реализация
Список последовательных действий в тенанте Advanced при миграции в облако:
Создание Virtual Private Cloud.
Создание Subnet.
Создание Security Group.
Создание целевого инстанса RDS PostgreSQL.
Создание инстанса CDM.
Создание подключения (PostgreSQL Link Connector) к исходной базе данных.
Проверка соединения с исходной базой данных.
Создание подключения (RDS PostgreSQL Link Connector) к целевой базе данных.
Проверка соединения с целевой базой данных.
Создание задания миграции типа Entire DB Migration.
Выбор Schema/Table Space для исходной и целевой баз данных.
Выбор таблиц исходной базы данных для переноса в целевую базу данных (Map Field).
Запуск задания миграции.
Переключение на целевую базу данных в облаке Advanced.
Миграция данных из S3 совместимого хранилища в сервис OBS облака Advanced
Паттерн миграции баз данных из S3 совместимого хранилища в сервис OBS облака Advanced имеет следующие преимущества и риски:
Преимущества паттерна | Риски |
|---|---|
Решение для миграции объектов бакета S3 совместимого хранилища в бакет сервиса OBS облака Advanced |
|
Общая схема
Описание паттерна
Предварительные требования:
В тенанте должны быть созданы как минимум одна VPC и одна подсеть (Subnet).
Должен быть создан целевой бакет в сервисе.
Должен быть создан инстанс CDM в сервисе DataArts Studio.
Для соединения с исходным и целевым бакетом используются пара Access Key/Secret Key.
Экстракторы для извлечения данных базируются на решении Apache Sqoop.
При подключении к сервису OBS используется компонент Obsclient входящий в состав Java SDK. Подключение осуществляется по протоколу HTTPS.
Процесс миграции осуществляется при помощи сервиса Cloud Data Migration (CDM) в консоли Advanced.
Чтобы начать миграцию, пользователь настраивает задание миграции типа Table/File Migration в разделе Job Management.
При настройке задания миграции:
Шаг Configure Basic Information:
выбираются подключения к исходному и целевому бакету;
выбирается формат переносимых данных.
ПримечаниеДля миграции файлов следует выбирать формат Binary.
Шаг Configure Task — запускается задание миграции.
Миграция происходит по интернету.
Реализация
Список последовательных действий в тенанте Advanced при миграции в облако:
Создание Virtual Private Cloud.
Создание Subnet.
Создание Security Group.
Создание целевого бакета в сервисе OBS.
Создание инстанса CDM.
Создание ключей AK/SK для IAM пользователя.
Создание подключения к исходному S3 хранилищу.
Проверка соединения с исходным S3 хранилищем.
Создание подключения (OBS Link Connector) к сервису OBS.
Проверка соединения с сервисом OBS.
Создание задания миграции типа Table/File Migration.
Выбор исходного бакета, файлов и каталогов для миграции объектов.
Выбор целевого бакета и каталога для записи объектов.
Запуск задания миграции.
Проверка наличия объектов после миграции в целевом бакете.
- Миграция баз данных из клиентского ЦОДа в PaaS облака Advanced
- Миграция данных из S3 совместимого хранилища в сервис OBS облака Advanced