DataArts Migration — это эффективный и простой в использовании сервис интеграции данных. Основываясь на миграции big data в облако и решениях для интеллектуального data lake, CDM предоставляет удобные возможности миграции и может интегрировать различные типы источников данных в data lake, что упрощает миграцию и интеграцию источников данных и повышает эффективность для вас.
В этом документе DataArts Migration относится к Cloud Data Migration (CDM).
Введение в CDM
CDM использует распределённый вычислительный фреймворк и технологии одновременной обработки, чтобы помочь вам мигрировать enterprise данные пакетно без простоя и быстро создавать требуемые структуры данных.
Рисунок 1 CDM
Функции
- Миграция таблиц/файлов/полной БД
Таблицы или файлы можно мигрировать пакетно. Полную базу данных можно мигрировать между однородными и разнородными базами данных. Джоба может мигрировать сотни таблиц.
- Инкрементальная миграция данных
CDM поддерживает инкрементную миграцию файлов, реляционных баз данных и HBase/CloudTable, а также использует операторы WHERE и макросные переменные даты и времени.
- Миграция в транзакционном режиме.
Если задача CDM не может быть выполнена, CDM откатывает данные к состоянию, существовавшему до начала задачи, и автоматически удаляет данные из целевой таблицы.
- Преобразование полей.
CDM поддерживает функции преобразования полей, такие как анонимизация, операции со строковыми данными и операции с датами.
- Шифрование файлов.
При миграции файлов в файловую систему CDM может шифровать файлы, записываемые в облако.
- Проверка MD5.
Поддерживается проверка MD5 для контроля целостности файлов от начала до конца и вывода результата проверки.
- Архивирование грязных данных.
CDM может архивировать данные, которые не удалось обработать во время миграции, были отфильтрованы или не соответствуют правилам преобразования или очистки, в журналы грязных данных. Можно задать порог соотношения грязных данных, чтобы определить, является ли задача успешной.
Принципы миграции
Когда арендатор использует CDM, система CDM создает полностью управляемый экземпляр CDM в VPC арендатора. Экземпляр позволяет доступ только через консоль и RESTful API. Поэтому арендатор не может получить доступ к экземпляру через другие интерфейсы (например SSH). Это обеспечивает изоляцию данных между арендаторами CDM, предотвращает утечку данных и обеспечивает безопасность передачи при миграции данных между различными облачными сервисами в VPC. Арендаторы также могут использовать VPN для миграции данных из локального центра обработки данных в облачные сервисы, чтобы обеспечить безопасность миграции.
CDM работает в режиме push-pull. CDM извлекает данные из источника миграции и передаёт данные в пункт назначения миграции. Операции доступа к данным инициируются CDM. SSL будет использован, если источник данных (например RDS) поддерживает его. Во время миграции требуются имена пользователей и пароли источника и назначения миграции. Такая информация хранится в базе данных экземпляра CDM. Защита такой информации имеет решающее значение для обеспечения безопасности CDM.
Рисунок 2 Принципы миграции
- Введение в CDM
- Функции
- Принципы миграции