DataArts Migration — это эффективный и простой в использовании сервис интеграции данных. Основываясь на решениях по миграции больших данных в облако и интеллектуальных озерах данных, CDM предоставляет простые в использовании возможности миграции и может интегрировать различные типы источников данных в озеро данных, что упрощает миграцию и интеграцию источников данных и повышает эффективность для вас.
В этом документе DataArts Migration обозначает Cloud Data Migration (CDM).
Введение в CDM
CDM использует распределённый вычислительный фреймворк и техники параллельной обработки, чтобы помочь вам мигрировать корпоративные данные пакетами без простоя и быстро создавать требуемые структуры данных.
Figure 1 CDM
Функции
- Миграция таблиц/файлов/полной БД
Таблицы или файлы могут мигрировать пакетами. Полная база данных может быть мигрирована между однородными и разнородными базами данных. Джоба может мигрировать сотни таблиц.
- Инкрементальная миграция данных
CDM поддерживает инкрементальную миграцию файлов, реляционных баз данных и HBase/CloudTable, а также с условиями WHERE и макропеременными даты и времени.
- Миграция в транзакционном режиме
Когда CDM джоба не может быть выполнена, CDM откатывает данные к состоянию до начала джобы и автоматически удаляет данные из целевой таблицы.
- Преобразование полей
CDM поддерживает функции преобразования полей, такие как анонимизация, операции со строками символов и операции с датами.
- Шифрование файлов
Когда файлы мигрируют в файловую систему, CDM может шифровать файлы, записываемые в облако.
- MD5‑проверка
Поддерживается MD5‑проверка для проверки согласованности файлов от начала до конца и вывода результата проверки.
- Архивирование грязных данных
CDM может архивировать данные, которые не удалось обработать во время миграции, были отфильтрованы или не соответствуют правилам преобразования или очистки, в журналы грязных данных. Пороговое значение отношения грязных данных можно задать для определения успешности задачи.
Принципы миграции
Когда арендатор использует CDM, система CDM предоставляет полностью управляемый инстанс CDM в VPC арендатора. Инстанс допускает доступ только через консоль и RESTful API. Поэтому арендатор не может получить доступ к инстансу через другие интерфейсы (например, SSH). Это обеспечивает изоляцию данных между арендаторами CDM, предотвращает утечку данных и гарантирует безопасность передачи во время миграции данных между различными облачными сервисами в VPC. Арендаторы также могут использовать VPN для миграции данных из центра обработки данных on-premises в облачные сервисы, чтобы обеспечить безопасность миграции.
CDM работает в режиме push‑pull. CDM извлекает данные из источника миграции и передаёт их в пункт назначения миграции. Операции доступа к данным инициируются CDM. SSL будет использоваться, если источник данных (например, RDS) поддерживает его. Во время миграции требуются имена пользователей и пароли источника и назначения миграции. Такая информация хранится в базе данных инстанса CDM. Защита этой информации критически важна для обеспечения безопасности CDM.
Рисунок 2 Принципы миграции
