Миграция средствами CDM

Миграция с использованием средств CDM реализуется на основании паттернов миграции данных:

  • из клиентского ЦОДа в PaaS облака Advanced;

  • из S3 совместимого хранилища в сервис OBS облака Advanced.

Миграция баз данных из клиентского ЦОДа в PaaS облака Advanced

Паттерн миграции баз данных из клиентского ЦОДа в PaaS облака Advanced имеет следующие преимущества и риски:

Преимущества паттерна

Риски

Решение для миграции клиентской базы данных типа PostgreSQL в PaaS сервис RDS PostgreSQL облака Advanced

  • Поддерживается только миграция таблиц базы данных.

  • Не поддерживается онлайн-миграция типа Incremental.

  • Поддерживается только формат кодирования символов UTF-8.

Общая схема

../../_images/schm__templates_adv_migration-tools_cdm-db.svg

Описание паттерна

Предварительные требования:

  • В тенанте должны быть созданы как минимум одна VPC и одна подсеть (Subnet).

  • Должен быть создан целевой PaaS сервис Relational Database Service (RDS) типа PostgreSQL.

  • Должен быть создан инстанс CDM в сервисе DAYU.

Для соединения с исходной и целевой базой данных используется Java Database Connectivity (JDBC).

Экстракторы для извлечения данных базируются на решении Apache Sqoop.

Процесс миграции осуществляется при помощи сервиса Cloud Data Migration (CDM) в консоли Advanced.

Чтобы начать миграцию, пользователь настраивает задание миграции типа Entire DB Migration в разделе Job Management.

При настройке задания миграции:

  • Шаг Configure Basic Information:

    • выбираются подключения к исходной и целевой базам данных;

    • выбирается Schema/Table Space, в которой находятся таблицы с данными для переноса.

  • Шаг Map Field — происходит маппинг таблиц исходной и целевой баз данных.

  • Шаг Configure Task — запускается задание миграции.

Миграция происходит по интернету.

Процесс миграции состоит из запуска параллельных экстракторов, каждый из которых отвечает за одну таблицу данных.

Реализация

Список последовательных действий в тенанте Advanced при миграции в облако:

  1. Создание Virtual Private Cloud.

  2. Создание Subnet.

  3. Создание Security Group.

  4. Создание целевого инстанса RDS PostgreSQL.

  5. Создание инстанса CDM.

  6. Создание подключения (PostgreSQL Link Connector) к исходной базе данных.

  7. Проверка соединения с исходной базой данных.

  8. Создание подключения (RDS PostgreSQL Link Connector) к целевой базе данных.

  9. Проверка соединения с целевой базой данных.

  10. Создание задания миграции типа Entire DB Migration.

  11. Выбор Schema/Table Space для исходной и целевой баз данных.

  12. Выбор таблиц исходной базы данных для переноса в целевую базу данных (Map Field).

  13. Запуск задания миграции.

  14. Переключение на целевую базу данных в облаке Advanced.

Миграция данных из S3 совместимого хранилища в сервис OBS облака Advanced

Паттерн миграции баз данных из S3 совместимого хранилища в сервис OBS облака Advanced имеет следующие преимущества и риски:

Преимущества паттерна

Риски

Решение для миграции объектов бакета S3 совместимого хранилища в бакет сервиса OBS облака Advanced

  • Одно задание в CDM поддерживает только миграцию объектов одного бакета.

  • Для миграции нескольких бакетов необходимо создавать дополнительные задания.

  • Одно задание поддерживает перенос не более 300000 файлов.

Общая схема

../../_images/schm__templates_adv_migration-tools_cdm-S3.svg

Описание паттерна

Предварительные требования:

  • В тенанте должны быть созданы как минимум одна VPC и одна подсеть (Subnet).

  • Должен быть создан целевой бакет в сервисе.

  • Должен быть создан инстанс CDM в сервисе DAYU.

Для соединения с исходным и целевым бакетом используются пара Access Key/Secret Key.

Экстракторы для извлечения данных базируются на решении Apache Sqoop.

При подключении к сервису OBS используется компонент Obsclient входящий в состав Java SDK. Подключение осуществляется по протоколу HTTPS.

Процесс миграции осуществляется при помощи сервиса Cloud Data Migration (CDM) в консоли Advanced.

Чтобы начать миграцию, пользователь настраивает задание миграции типа Table/File Migration в разделе Job Management.

При настройке задания миграции:

  • Шаг Configure Basic Information:

    • выбираются подключения к исходному и целевому бакету;

    • выбирается формат переносимых данных.

      Примечание

      Для миграции файлов следует выбирать формат Binary.

  • Шаг Configure Task — запускается задание миграции.

Миграция происходит по интернету.

Реализация

Список последовательных действий в тенанте Advanced при миграции в облако:

  1. Создание Virtual Private Cloud.

  2. Создание Subnet.

  3. Создание Security Group.

  4. Создание целевого бакета в сервисе OBS.

  5. Создание инстанса CDM.

  6. Создание ключей AK/SK для IAM пользователя.

  7. Создание подключения к исходному S3 хранилищу.

  8. Проверка соединения с исходным S3 хранилищем.

  9. Создание подключения (OBS Link Connector) к сервису OBS.

  10. Проверка соединения с сервисом OBS.

  11. Создание задания миграции типа Table/File Migration.

  12. Выбор исходного бакета, файлов и каталогов для миграции объектов.

  13. Выбор целевого бакета и каталога для записи объектов.

  14. Запуск задания миграции.

  15. Проверка наличия объектов после миграции в целевом бакете.

См.также