Миграция средствами CDM
Миграция с использованием средств CDM реализуется на основании паттернов миграции данных:
-
из клиентского ЦОДа в PaaS облака Advanced;
-
из S3 совместимого хранилища в сервис OBS облака Advanced.
Миграция баз данных из клиентского ЦОДа в PaaS облака Advanced
Паттерн миграции баз данных из клиентского ЦОДа в PaaS облака Advanced имеет следующие преимущества и риски:
Преимущества паттерна | Риски |
---|---|
Решение для миграции клиентской базы данных типа PostgreSQL в PaaS сервис RDS PostgreSQL облака Advanced |
|
Общая схема
Описание паттерна
Предварительные требования:
-
В тенанте должны быть созданы как минимум одна VPC и одна подсеть (Subnet).
-
Должен быть создан целевой PaaS сервис Relational Database Service (RDS) типа PostgreSQL.
-
Должен быть создан инстанс CDM в сервисе DataArts Studio.
Для соединения с исходной и целевой базой данных используется Java Database Connectivity (JDBC).
Экстракторы для извлечения данных базируются на решении Apache Sqoop.
Процесс миграции осуществляется при помощи сервиса Cloud Data Migration (CDM) в консоли Advanced.
Чтобы начать миграцию, пользователь настраивает задание миграции типа Entire DB Migration в разделе Job Management.
При настройке задания миграции:
-
Шаг Configure Basic Information:
-
выбираются подключения к исходной и целевой базам данных;
-
выбирается Schema/Table Space, в которой находятся таблицы с данными для переноса.
-
-
Шаг Map Field — происходит маппинг таблиц исходной и целевой баз данных.
-
Шаг Configure Task — запускается задание миграции.
Миграция происходит по интернету.
Процесс миграции состоит из запуска параллельных экстракторов, каждый из которых отвечает за одну таблицу данных.
Реализация
Список последовательных действий в тенанте Advanced при миграции в облако:
-
Создание Virtual Private Cloud.
-
Создание Subnet.
-
Создание Security Group.
-
Создание целевого инстанса RDS PostgreSQL.
-
Создание инстанса CDM.
-
Создание подключения (PostgreSQL Link Connector) к исходной базе данных.
-
Проверка соединения с исходной базой данных.
-
Создание подключения (RDS PostgreSQL Link Connector) к целевой базе данных.
-
Проверка соединения с целевой базой данных.
-
Создание задания миграции типа Entire DB Migration.
-
Выбор Schema/Table Space для исходной и целевой баз данных.
-
Выбор таблиц исходной базы данных для переноса в целевую базу данных (Map Field).
-
Запуск задания миграции.
-
Переключение на целевую базу данных в облаке Advanced.
Миграция данных из S3 совместимого хранилища в сервис OBS облака Advanced
Паттерн миграции баз данных из S3 совместимого хранилища в сервис OBS облака Advanced имеет следующие преимущества и риски:
Преимущества паттерна | Риски |
---|---|
Решение для миграции объектов бакета S3 совместимого хранилища в бакет сервиса OBS облака Advanced |
|
Общая схема
Описание паттерна
Предварительные требования:
-
В тенанте должны быть созданы как минимум одна VPC и одна подсеть (Subnet).
-
Должен быть создан целевой бакет в сервисе.
-
Должен быть создан инстанс CDM в сервисе DataArts Studio.
Для соединения с исходным и целевым бакетом используются пара Access Key/Secret Key.
Экстракторы для извлечения данных базируются на решении Apache Sqoop.
При подключении к сервису OBS используется компонент Obsclient входящий в состав Java SDK. Подключение осуществляется по протоколу HTTPS.
Процесс миграции осуществляется при помощи сервиса Cloud Data Migration (CDM) в консоли Advanced.
Чтобы начать миграцию, пользователь настраивает задание миграции типа Table/File Migration в разделе Job Management.
При настройке задания миграции:
-
Шаг Configure Basic Information:
-
выбираются подключения к исходному и целевому бакету;
-
выбирается формат переносимых данных.
ПримечаниеДля миграции файлов следует выбирать формат Binary.
-
-
Шаг Configure Task — запускается задание миграции.
Миграция происходит по интернету.
Реализация
Список последовательных действий в тенанте Advanced при миграции в облако:
-
Создание Virtual Private Cloud.
-
Создание Subnet.
-
Создание Security Group.
-
Создание целевого бакета в сервисе OBS.
-
Создание инстанса CDM.
-
Создание ключей AK/SK для IAM пользователя.
-
Создание подключения к исходному S3 хранилищу.
-
Проверка соединения с исходным S3 хранилищем.
-
Создание подключения (OBS Link Connector) к сервису OBS.
-
Проверка соединения с сервисом OBS.
-
Создание задания миграции типа Table/File Migration.
-
Выбор исходного бакета, файлов и каталогов для миграции объектов.
-
Выбор целевого бакета и каталога для записи объектов.
-
Запуск задания миграции.
-
Проверка наличия объектов после миграции в целевом бакете.
- Миграция баз данных из клиентского ЦОДа в PaaS облака Advanced
- Миграция данных из S3 совместимого хранилища в сервис OBS облака Advanced