DataArts Migration — это эффективный и удобный сервис интеграции данных. На основе миграции больших данных в облако и решений интеллектуального озера данных CDM предоставляет удобные возможности миграции и может интегрировать различные типы источников данных в озеро данных, что упрощает миграцию и интеграцию источников данных и повышает эффективность для вас.
В этом документе DataArts Migration относится к Cloud Data Migration (CDM).
Введение в CDM
CDM использует распределённый вычислительный фреймворк и методы параллельной обработки, чтобы помочь вам мигрировать корпоративные данные пакетами без простоев и быстро создавать требуемые структуры данных.
Рисунок 1 CDM
Функции
- Миграция таблиц/файлов/полной БД
Таблицы или файлы могут мигрировать пакетами. Полную базу данных можно мигрировать между однородными и разнородными базами данных. Джоба может мигрировать сотни таблиц.
- Инкрементальная миграция данных
CDM поддерживает инкрементальную миграцию файлов, реляционных баз данных и HBase/CloudTable, а также с WHERE‑клаузами и макропеременными даты и времени.
- Migration in transaction mode
Когда задача CDM не может быть выполнена, CDM откатывает данные к состоянию до начала задачи и автоматически удаляет данные из целевой таблицы.
- Field conversion
CDM поддерживает функции преобразования полей, такие как анонимизация, операции со строками и операции с датами.
- File encryption
Когда файлы мигрируют в файловую систему, CDM может шифровать файлы, записываемые в облако.
- MD5 verification
Поддерживается MD5‑проверка для проверки целостности файлов от начала до конца и вывода результата проверки.
- Dirty data archiving
CDM может архивировать данные, которые не удалось обработать во время миграции, были отфильтрованы или не соответствуют правилам преобразования или очистки, в журналы грязных данных. Пороговое значение соотношения грязных данных можно установить, чтобы определить, является ли задача успешной.
Принципы миграции
Когда арендатор использует CDM, система CDM развертывает полностью управляемый экземпляр CDM в VPC арендатора. Экземпляр допускает только доступ через консоль и RESTful API. Поэтому арендатор не может получить доступ к экземпляру через другие интерфейсы (например, SSH). Это обеспечивает изоляцию данных между арендаторами CDM, предотвращает утечку данных и гарантирует безопасность передачи во время миграции данных между различными облачными сервисами в VPC. Арендаторы также могут использовать VPN для миграции данных из локального дата‑центра в облачные сервисы, чтобы обеспечить безопасность миграции.
CDM работает в режиме push-pull. CDM извлекает данные из источника миграции и передаёт их в целевой пункт миграции. Операции доступа к данным инициируются CDM. SSL будет использоваться, если источник данных (например, RDS) поддерживает его. Во время миграции требуются имена пользователей и пароли источника и назначения миграции. Такая информация хранится в базе данных экземпляра CDM. Защита этой информации критически важна для обеспечения безопасности CDM.
Рисунок 2 Принципы миграции
