Создание задачи миграции

Полная миграция в реальном времени состоит из создания задачи миграции, отслеживания прогресса задачи, анализа журналов миграции и сравнения согласованности данных. Сравнивая несколько элементов и данные, вы можете определить оптимальное время для миграции сервиса, чтобы минимизировать простой сервиса.

Полная миграция включает следующие процедуры.

• Шаг 1: Создайте задачу миграции. Выберите исходные и целевые базы данных по требованию и создайте задачу миграции.
• Шаг 2: Проверьте прогресс миграции. Во время миграции вы можете просматривать прогресс миграции.
• Шаг 3: Просмотрите журналы миграции. Журналы миграции содержат сигналы, ошибки и подсказки. Вы можете анализировать проблемы системы на основе этой информации.
• Шаг 4: Сравните элементы миграции. Вы можете сравнивать объекты и данные, подлежащие миграции, чтобы обеспечить согласованность данных.

В этом разделе в качестве примера используется миграция из MySQL в RDS for MySQL, чтобы описать, как настроить задачу миграции через сеть VPC в консоли DRS.

VPC подходит для миграций облачных баз данных в одном регионе.

Вы можете создать задачу миграции, которая проведет вас через каждый шаг процесса. После создания задачи миграции вы можете управлять ею в консоли DRS.

• Вы вошли в консоль DRS.
• Для получения подробной информации о типах и версиях БД, поддерживаемых миграцией в реальном времени, см. Real-Time Migration.

1. На странице Online Migration Management нажмите Create Migration Task.
2. На странице Create Replication Instance укажите имя задачи, описание и сведения о репликационном инстансе, затем нажмите Create Now.
   • Описание информации о задаче

     Table 1 Task information

     Parameter	Description
     Task Name	Имя задачи должно начинаться с буквы и состоять из 4–50 символов. Оно может содержать только буквы, цифры, дефисы (-) и подчёркивания (_).
     Description	Описание может содержать до 256 символов и не может содержать специальные символы !=<> & '\"'.

   • Replication instance information

     Table 2 Replication instance settings

     Parameter	Description
     Поток данных	Выберите To the cloud. Целевая БД находится в текущем облаке.
     Source DB Engine	Выберите MySQL.
     Destination DB Engine	Выберите MySQL.
     Network Type	Выберите VPC Network. Доступные варианты: VPC, VPN or Direct Connect, и Public network. По умолчанию значение Public network. VPC подходит для миграций между облачными базами данных одного и того же аккаунта в одном регионе и VPC. Public network подходит для миграций из локальных баз данных или внешних облачных баз данных в целевые базы данных. VPN or Direct Connect подходит для миграций из локальных баз данных в облачные базы данных или между базами данных в разных регионах в облаке с использованием VPN, Direct Connect, Cloud Connect, VPCEP или соединения VPC peering.
     Destination DB Instance	Созданный вами RDS DB instance.
     Replication Instance Subnet	Подсеть, в которой находится репликационный инстанс. Вы также можете нажать View Subnets, чтобы перейти в консоль сети и просмотреть подсеть, в которой находится инстанс. По умолчанию инстанс DRS и целевой инстанс DB находятся в одной подсети. Необходимо выбрать подсеть, в которой находится инстанс DRS, и в которой доступны IP‑адреса. Чтобы обеспечить успешное создание репликационного инстанса, отображаются только подсети с включённым DHCP.
     Destination DB Instance Access	Read-only Во время миграции целевая база данных находится в режиме только для чтения. После завершения миграции она возвращается в состояние read/write. Эта опция обеспечивает целостность и высокий уровень успешности миграции данных. Если задача миграции завершается с ошибкой, целевая база данных возвращается в состояние read/write. После возобновления задачи миграции целевая база данных переходит в режим только для чтения. Настройки доступа целевого инстанса также зависят от настроек доступа самого инстанса DB. Поэтому рекомендуется не изменять настройки доступа инстанса DB в консоли RDS. Если целевая база данных установлена в режим только для чтения для задачи миграции, вы можете отключить режим только для чтения на странице сведений о задаче. После отключения режима только для чтения целевая база данных нельзя вернуть в режим только для чтения. Даже если задача миграции завершится с ошибкой и затем будет возобновлена и запущена, целевая база данных нельзя установить в режим только для чтения. Read/Write Во время миграции целевая база данных может быть запрошена или изменена. Перемещаемые данные могут быть изменены при выполнении операций или подключении приложений. Следует учитывать, что фоновые процессы часто генерируют или изменяют данные, что может привести к конфликтам данных, ошибкам задачи и сбоям загрузки. Не выбирайте эту опцию, если вы полностью не понимаете риски. Установите целевую базу данных в режим Read/Write только когда необходимо изменять другие данные в базе данных во время миграции. Задачу нельзя изменить после её создания.
     Migration Type	Full: Этот тип migration подходит для сценариев, при которых допустим простой сервис. Все объекты и данные в пользовательских базах данных мигрируют в целевую базу данных одновременно. Объекты включают таблицы, представления и хранимые процедуры. NOTE: Если вы выполняете полную миграцию, не выполняйте операции с исходной базой данных. В противном случае данные, созданные в исходной базе данных во время миграции, не будут синхронизированы с целевой базой данных. Full+Incremental: Этот тип миграции позволяет переносить данные без прерывания сервисов. После того как полная миграция инициализирует целевую базу данных, запускается инкрементальная миграция и анализирует журналы, чтобы обеспечить согласованность данных между исходной и целевой базами данных. ПРИМЕЧАНИЕ: Если вы выбираете Full+Incremental, данные, созданные во время полной миграции, будут постоянно синхронизироваться с целевой базой данных, а исходная останется доступной.
     Enable Binlog Cleanup	Указывает, следует ли включить функцию быстрого очистки binlog‑ов целевой базы данных. После включения этой функции очистка binlog‑ов будет включена для целевой базы данных во время полной миграции и отключена во время инкрементальной миграции.
     Specify EIP	Этот параметр доступен, когда вы выбираете Public network для Network Type. Выберите EIP, который будет привязан к инстансу DRS. DRS автоматически привяжет указанный EIP к инстансу DRS и отвяжет EIP после завершения задачи.

   • AZ

     Table 3 Task AZ

     Parameter	Description
     AZ	Выберите AZ, в котором вы хотите создать задачу DRS. Выбор AZ, в которой размещена исходная или целевая база данных, может обеспечить лучшую производительность.

   • Enterprise Project and Tags

     Таблица 4 Enterprise Project и Теги

     Параметр	Описание
     Enterprise Project	Enterprise Project, который вы хотите использовать для централизованного управления вашими облачными ресурсами и участниками. Выберите Enterprise Project из раскрывающегося списка. Проект по умолчанию — default.
     Теги	Теги задачи. Эта конфигурация необязательна. Добавление тегов помогает лучше идентифицировать и управлять вашими задачами. Каждая задача может иметь до 20 тегов. После создания задачи вы можете просмотреть детали её тегов на вкладке Tags. Подробности см. в Tag Management.

   Note

   Если задача не может быть создана, DRS сохраняет задачу по умолчанию в течение трёх дней. По истечении трёх дней задача автоматически прекращается.

3. На странице Configure Source and Destination Databases дождитесь создания экземпляра репликации. Затем укажите информацию о исходной и целевой базе данных и нажмите Test Connection для обеих баз данных, чтобы проверить, подключены ли они к экземпляру репликации. После успешного теста соединения отметьте флажок перед соглашением и нажмите Next.
   • Сценарий 1: Самостоятельно построенная база данных — конфигурация исходной базы данных

     Таблица 5 Self-build database - source database information

     Параметр	Описание
     Тип базы данных	Выберите Self-built on ECS.
     VPC	Выделенная виртуальная сеть, в которой находится исходная база данных. Она изолирует сети для разных сервисов. Вы можете выбрать существующий VPC или создать VPC.
     Subnet	Подсеть предоставляет выделенные сетевые ресурсы, изолированные от других сетей, повышая безопасность сети. Подсеть должна находиться в AZ, где размещена исходная база данных. Необходимо включить DHCP для создания подсети исходной базы данных.
     IP Address or Domain Name	IP-адрес или доменное имя исходной базы данных.
     Port	Порт исходной базы данных. Диапазон: 1 – 65535
     Database Username	Имя пользователя для доступа к исходной базе данных.
     Database Password	Пароль для указанного имени пользователя базы данных.
     SSL Connection	Если требуется SSL‑соединение, включите SSL на исходной базе данных, убедитесь, что связанные параметры правильно настроены, и загрузите SSL‑сертификат. ПРИМЕЧАНИЕ: Максимальный размер одного файла сертификата, который можно загрузить, составляет 500 KB. Если SSL отключён, ваши данные могут быть под угрозой.

     Note

     IP‑адрес, доменное имя, имя пользователя и пароль исходной базы данных шифруются и хранятся в DRS, и будут удалены после удаления задачи.

   • Сценарий 2: RDS DB instance - конфигурация исходной базы данных

     Table 6 RDS DB instance - информация об исходной базе данных

     Параметр	Описание
     Тип базы данных	Выберите RDS DB instance.
     Имя DB Instance	Выберите RDS DB instance, который будет мигрировать в качестве исходного DB instance.
     Имя пользователя базы данных	Имя пользователя для доступа к исходной базе данных.
     Пароль базы данных	Пароль для имени пользователя базы данных.
     SSL Connection	Если требуется SSL‑соединение, включите SSL на исходной базе данных, убедитесь, что связанные параметры правильно настроены, и загрузите SSL‑сертификат. NOTE: Максимальный размер одного файла сертификата, который можно загрузить, составляет 500 KB. Если SSL отключён, ваши данные могут быть под угрозой.

   • Destination database configuration

     Table 7 Destination database settings

     Parameter	Description
     DB Instance Name	Экземпляр RDS DB, выбранный при создании задачи миграции. Этот параметр нельзя изменить.
     Database Username	Имя пользователя для доступа к целевой базе данных.
     Database Password	Пароль для имени пользователя базы данных.
     Migrate Definer to User	Указывает, следует ли мигрировать Definer‑ы всех объектов исходной базы данных к пользователю целевой базы данных, указанному во время теста соединения. Yes No Definer‑ы всех объектов исходной базы данных изменены не будут. На следующем этапе необходимо мигрировать все учётные записи и разрешения исходной базы данных. Обратите внимание, что если учётная запись Definer не найдена в целевой базе данных, будут созданы недоступные объекты.
     SSL‑соединение	Если требуется SSL‑соединение, включите SSL на целевой базе данных, убедитесь, что связанные параметры правильно настроены, и загрузите SSL‑сертификат. ПРИМЕЧАНИЕ: Максимальный размер одного файла сертификата, который можно загрузить, составляет 500 KB. Если SSL отключён, ваши данные могут быть под угрозой.

     Note

     Имя пользователя и пароль базы данных зашифрованы и хранятся в системе, и будут удалены после удаления задачи.

4. На странице Set Task выберите учётные записи и объекты для миграции и нажмите Next.

   Table 8 Типы миграции и объекты

   Параметр	Description
   Flow Control	Вы можете выбрать, контролировать ли поток. Flow Control вступает в силу только в полной фазе. Yes Вы можете задать максимальную скорость миграции, которая зависит от сетевых условий. Во время миграции скорость миграции каждой задачи (или каждой подзадачи в режиме многозадачности) не будет превышать настроенный вами порог. Кроме того, вы можете задать диапазон времени в соответствии с требованиями вашего сервиса. Настройка скорости трафика обычно включает указание периода ограничения скорости и значения скорости трафика. Flow может контролироваться круглосуточно или в определённые временные диапазоны. Значение по умолчанию — Always. Можно задать не более 10 диапазонов времени, и они не должны перекрываться. Скорость потока должна устанавливаться в соответствии со сценарием сервиса и не может превышать 9 999 MB/s. No Скорость миграции не ограничена, и исходный пропускной канал базы данных используется максимально, что приводит к соответствующему потреблению чтения на исходной базе данных. Например, если исходный пропускной канал базы данных составляет 100 MB/s и используется 80 % пропускной способности, потребление ввода‑вывода на исходной базе данных будет 80 MB/s. NOTE: Flow control mode вступает в силу только во время полной миграции. Вы также можете изменить flow control mode после создания задачи. Подробнее см. Modifying the Flow Control Mode.
   Migrate Incremental Accounts and Permissions	Указывает, следует ли мигрировать incremental accounts and permissions во время миграции базы данных. Yes Все инкрементные аккаунты и разрешения будут перенесены. Перенос инкрементных аккаунтов и разрешений может завершиться неудачей, потому что версии исходной и целевой базы данных и режимы шифрования аккаунтов могут различаться. No Все инкрементные аккаунты и разрешения будут отфильтрованы во время переноса.
   Migrate Account	Во время переноса базы данных аккаунты необходимо переносить отдельно. Существуют аккаунты, которые могут быть полностью перенесены, аккаунты, у которых необходимо уменьшить разрешения, и аккаунты, которые нельзя перенести. Вы можете выбрать, переносить аккаунты или нет, в зависимости от требований сервиса. Если вы выберете Yes, вы сможете выбрать необходимые для переноса аккаунты. Yes Если необходимо перенести аккаунты, см. Migrating Accounts. No Во время переноса аккаунты, разрешения и пароли не переносятся.
   Create Indexes Along With Table Structure	Указывает, следует ли создавать индексы вместе со структурой таблицы в полной фазе переноса. Yes: Индексы переносятся вместе со структурой таблицы в полной фазе переноса. No: Индексы переносятся отдельно после переноса данных.
   Filter DROP DATABASE	Чтобы снизить риски, связанные с миграцией данных, операции DDL можно отфильтровать. Вы можете выбрать не синхронизировать определённые операции DDL. Если вы выберете Yes, любые операции удаления базы данных, выполненные в source database, не будут мигрированы во время миграции данных. Если вы выберете No, связанные операции будут мигрированы в destination database во время миграции данных.
   Migration Object	В left pane отображаются объекты source database, а в right pane — выбранные объекты. Вы можете выбрать миграцию всех объектов, таблиц или баз данных в соответствии с требованиями вашего сервиса. All: Все объекты в source database мигрируются в destination database. После миграции имена объектов останутся такими же, как в source database, и их нельзя будет изменить. Tables: Выбранные объекты уровня таблиц будут мигрированы. Databases: Выбранные объекты уровня баз данных будут мигрированы. Если source database изменена, нажмите в правом верхнем углу перед выбором объектов миграции, чтобы убедиться, что выбранные объекты относятся к изменённой source database. ПРИМЕЧАНИЕ: Если вы решите не мигрировать все базы данных, миграция может завершиться ошибкой, поскольку объекты, такие как хранимые процедуры и представления, в мигрируемых базах данных могут иметь зависимости от других объектов, которые не мигрируются. Чтобы предотвратить сбой миграции, мигрируйте все базы данных. Если имя объекта содержит пробелы, пробелы до и после имени объекта не отображаются. Если в середине имени объекта подряд идут два и более пробела, отображается только один пробел. Имя выбранного объекта миграции не может содержать пробелы. Для быстрого выбора нужных объектов базы данных можно использовать функцию поиска.

5. На странице Check Task проверьте задачу миграции.
   • Если какая‑либо проверка не проходит, проанализируйте причину и исправьте ошибку. После исправления ошибки нажмите Check Again.
   • Если проверка завершена и коэффициент успешных проверок составляет 100 %, нажмите Next.
     Note

     Перейти к следующему шагу можно только после успешного завершения всех проверок. Если есть элементы, требующие подтверждения, сначала просмотрите и подтвердите детали, а затем переходите к следующему шагу.

6. Сравните параметры источника и назначения.

   Сравнивая общие и производительные параметры баз данных‑источников с параметрами баз данных‑назначения, вы можете способствовать тому, чтобы сервисы не изменились после завершения миграции. Вы можете решить, использовать ли эту функцию, исходя из требований сервиса. В основном это гарантирует, что сервисы не будут затронуты после завершения миграции.

   • Этот процесс является необязательным, поэтому вы можете нажать Next, чтобы пропустить сравнение.
   • Сравните общие параметры:

     Если значения общих параметров в результатах сравнения несогласованы, нажмите Save Change, чтобы изменить значения базы данных‑назначения, сделав их одинаковыми с базой данных‑источником.

     Значения параметров производительности в базах данных‑источнике и‑назначении могут быть одинаковыми или различными.

     • Если необходимо изменить согласованные в результатах сравнения значения параметров производительности на другие, найдите целевой параметр, введите значения в столбец Change To и нажмите Save Change в левом верхнем углу.
     • Если вы хотите сделать значения параметров производительности баз данных‑источника и‑назначения одинаковыми:
       1. Нажмите Use Source Database Value.

          DRS автоматически делает значения базы данных‑назначения одинаковыми с значениями базы данных‑источника.

          Note

          Вы также можете вручную ввести значения параметров.

       2. Нажмите Save Change, чтобы сохранить изменения.

          Система изменяет значения параметров в соответствии с вашими настройками значений целевой базы данных. После изменения список обновляется автоматически.

          Некоторые параметры в целевой базе данных требуют перезапуска до того, как изменения вступят в силу. Система отобразит их как несоответствующие. Кроме того, перезапустите целевую базу данных до начала задачи миграции или после её завершения. Чтобы минимизировать влияние этого перезапуска на ваши сервисы, рекомендуется запланировать конкретное время для перезапуска целевой базы данных после завершения миграции.

          Подробную информацию о том, как задавать параметры во время сравнения, см. Parameters for Comparison.

       3. Нажмите Next.

7. На отображаемой странице укажите Start Time, Send Notifications, SMN Topic, Delay Threshold (s), Run Post-Migration Comparison, Start Now (Initialization Only) и Stop Abnormal Tasks After, проверьте правильность настроенной информации и нажмите Submit для отправки задачи.

   Table 9 Настройки запуска задачи

   Параметр	Описание
   Время начала	Установите Start Time в значение Start upon task creation или Start at a specified time в соответствии с требованиями сайта. Рекомендуется параметр Start at a specified time. ПРИМЕЧАНИЕ: Задача миграции может повлиять на производительность исходных и целевых баз данных. Рекомендуется запускать задачу в непиковые часы и выделить от двух до трёх дней для проверки данных.
   Send Notifications	Этот параметр необязателен. Если статус, метрика задержки или данные задачи миграции являются аномальными, DRS отправит вам уведомление.
   SMN Topic	Этот параметр доступен только после включения Send Notifications и создания темы в консоли SMN и добавления подписчика.

8. После отправки задачи просмотрите и manage it на странице Online Migration Management.
   • Вы можете просмотреть статус задачи. Для получения дополнительной информации о статусе задачи см. Task Statuses.
   • Вы можете нажать в правом верхнем углу, чтобы просмотреть последний статус задачи.
   • After the full migration is complete, you can use data comparison to check whether the data is consistent before and after the migration.
   • By default, DRS retains a task in the Configuration state for three days. After three days, DRS automatically deletes background resources, but the task status remains unchanged. When you reconfigure the task, DRS applies for resources again.
   • For a public network task, DRS needs to delete background resources after you stop the task. The EIP bound to the task cannot be restored to the Unbound state until background resources are deleted.