Миграция средствами CDM
Миграция с использованием средств CDM реализуется на основании паттернов миграции данных:
из клиентского ЦОД в PaaS облака Advanced;
из S3 совместимого хранилища в сервис OBS облака Advanced.
Миграция баз данных из клиентского ЦОД в PaaS облака Advanced
Паттерн миграции баз данных из клиентского ЦОД в PaaS облака Advanced имеет следующие преимущества и риски:
Преимущества паттерна |
Риски |
|---|---|
Решение для миграции клиентской базы данных типа PostgreSQL в PaaS сервис RDS PostgreSQL облака Advanced |
|
Общая схема
Описание паттерна
Предварительные требования:
в тенанте должны быть созданы как минимум одна VPC и одна подсеть (Subnet).
должен быть создан целевой PaaS сервис Relational Database Service (RDS) типа PostgreSQL.
должен быть создан инстанс CDM в сервисе DAYU.
Для соединения с исходной и целевой базой данных используется Java Database Connectivity (JDBC).
Экстракторы для извлечения данных базируются на решении Apache Sqoop.
Процесс миграции осуществляется при помощи сервиса Cloud Data Migration (CDM) в консоли Advanced.
Для того чтобы начать миграцию пользователь настраивает задание миграции типа Entire DB Migration в разделе Job Management.
При настройке задания миграции:
Шаг Configure Basic Information:
выбираются подключения к исходной и целевой базам данных;
выбирается Schema/Table Space в которой находятся таблицы с данными для переноса.
Шаг Map Field — происходит маппинг таблиц исходной и целевой баз данных.
Шаг Configure Task — запускается задание миграции.
Миграция происходит по сети Интернет.
Процесс миграции состоит из запуска параллельных экстракторов, каждый из которых отвечает за одну таблицу данных.
Реализация
Список последовательных действий в тенанте Advanced при миграции в облако:
Создание Virtual Private Cloud;
Создание Subnet;
Создание Security Group;
Создание целевого инстанса RDS PostgreSQL;
Создание инстанса CDM;
Создание подключения (PostgreSQL Link Connector) к исходной базе данных;
Проверка соединения с исходной базой данных;
Создание подключения (RDS PostgreSQL Link Connector) к целевой базе данных;
Проверка соединения с целевой базой данных;
Создание задания миграции типа Entire DB Migration;
Выбор Schema/Table Space для исходной и целевой баз данных;
Выбор таблиц исходной базы данных для переноса в целевую базу данных (Map Field);
Запуск задания миграции;
Переключение на целевую базу данных в облаке Advanced.
Миграция данных из S3 совместимого хранилища в сервис OBS облака Advanced
Паттерн миграции баз данных из S3 совместимого хранилища в сервис OBS облака Advanced имеет следующие преимущества и риски:
Преимущества паттерна |
Риски |
|---|---|
Решение для миграции объектов бакета S3 совместимого хранилища в бакет сервиса OBS облака Advanced |
|
Общая схема
Описание паттерна
Предварительные требования:
в тенанте должны быть созданы как минимум одна VPC и одна подсеть (Subnet).
должен быть создан целевой бакет в сервисе.
должен быть создан инстанс CDM в сервисе DAYU.
Для соединения с исходным и целевым бакетом используются пара Access Key/Secret Key.
Экстракторы для извлечения данных базируются на решении Apache Sqoop.
При подключении к сервису OBS используется компонент Obsclient входящий в состав Java SDK. Подключение осуществляется по протоколу HTTPS.
Процесс миграции осуществляется при помощи сервиса Cloud Data Migration (CDM) в консоли Advanced.
Для того чтобы начать миграцию пользователь настраивает задание миграции типа Table/File Migration в разделе Job Management.
При настройке задания миграции:
Шаг Configure Basic Information:
выбираются подключения к исходному и целевому бакету;
выбирается формат переносимых данных.
Примечание
Для миграции файлов следует выбирать формат Binary.
Шаг Configure Task — запускается задание миграции.
Миграция происходит по сети Интернет.
Реализация
Список последовательных действий в тенанте Advanced при миграции в облако:
Создание Virtual Private Cloud;
Создание Subnet;
Создание Security Group;
Создание целевого бакета в сервисе OBS;
Создание инстанса CDM;
Создание ключей AK/SK для IAM пользователя;
Создание подключения к исходному S3 хранилищу;
Проверка соединения с исходным S3 хранилищем;
Создание подключения (OBS Link Connector) к сервису OBS;
Проверка соединения с сервисом OBS;
Создание задания миграции типа Table/File Migration;
Выбор исходного бакета, файлов и директорий для миграции объектов;
Выбор целевого бакета и директории для записи объектов;
Запуск задания миграции;
Проверка наличия объектов после миграции в целевом бакете.