- tocdepth
2
Миграция базы данных Elasticsearch в облако Advanced
Компонент CDM сервиса DataArts Studio позволяет мигрировать нереляционную базу данных типа Elasticsearch. В облаке Advanced индексы этой базы данных управляются с помощью Cloud Search Service — распределенной поисковой системы на основе Elasticsearch.
Миграция базы данных Elasticsearch в облако Advanced может быть выполнена с использованием CDM со следующими ограничениями:
Доступна только миграция индексов.
Визуализация Kibana не переносится.
Для миграции:
подготовьте исходный индекс к миграции;
создайте кластер CSS в облаке Advanced;
используйте компонент CDM сервиса DataArts Studio для переноса исходного индекса в облако Advanced.
Подготовка исходного индекса
Добавьте хост в кластер Elasticsearch, содержащий исходный индекс, и назначьте публичный IP-адрес хосту.
В некоторых облачных сервисах назначить публичный IP-адрес добавленному ранее хосту невозможно.
Примечание
Если после добавления хоста к нему невозможно подключиться, убедитесь что группа безопасности кластера настроена корректно для подсети, в которую помещен хост.
Настройте все группы безопасности кластера Elasticsearch, содержащего исходный индекс, так, чтобы они не препятствовали подключению к кластеру.
Скопируйте и сохраните имя пользователя и пароль для доступа к исходному индексу.
Создание кластера Elasticsearch в облаке Advanced
Создайте в облаке Advanced кластер Elasticsearch, в который будут мигрировать данные из исходного индекса.
При создании кластера можно задать класс хранения, политику доступа и другие параметры в соответствии с параметрами исходного индекса.
Для доступа к кластеру Elasticsearch используйте Kibana (en) в консоли управления CSS.
Подготовка кластера CDM
Для подготовки кластера CDM:
Войдите в консоль управления Advanced:
В списке сервисов выберите DataArts Studio.
Выберите инстанс DataArts Studio и нажмите Access.
Примечание
Если инстанс DataArts Studio отсутствует, то необходимо создать его (en).
Откройте инстансу DataArts Studio доступ в интернет. Для этого:
Создайте NAT-шлюз в той же подсети, где расположен кластер CSS.
Добавьте SNAT-правило и привяжите к NAT-шлюзу созданный ранее внешний IP-адрес.
Перейдите на вкладку Workspace Management.
Выберите Data Integration для соответствующей рабочей области.
Выберите Cloud Data Migration.
Примечание
Если инстанс CDM отсутствует, то необходимо создать его (en).
Создание коннекторов
Перед созданием задачи на миграцию настройте коннекторы, позволяющие кластеру CSS считывать данные из кластера с исходным индексом и записывать их в облако Advanced.
На странице Cluster Management выберите .
Выберите коннектор типа «Cloud Search Service» для исходного индекса и нажмите Next.
На странице настройки коннектора для исходного индекса задайте его параметры:
Name — введите название коннектора.
Elasticsearch Server List — введите сервер Elasticsearch, содержащий исходный индекс, и номер порта.
Можно указать один или несколько серверов Elasticsearch. Для разделения нескольких IP-адресов используйте точку с запятой. Формат: ip:port.
Security mode Authentication — включите проверку подлинности в режиме безопасности.
Выберите Yes, если для подключения к кластеру Elasticsearch включен режим Security Mode.
В противном случае установите для этого параметра значение No.
Username — введите имя пользователя, используемое для подключения к кластеру с исходным индексом.
Password — введите пароль, используемый для подключения к кластеру с исходным индексом.
Нажмите Test для проверки коннектора или нажмите Save, и система автоматически проверит соединение и сохранит коннектор после успешной проверки.
Примечание
Если транспортная сеть имеет низкую пропускную способность или источник данных имеет слишком большой размер, проверка коннектора может занять от 30 до 60 секунд.
Нажмите Create Link, чтобы перейти к созданию коннектора для целевого кластера Elasticsearch.
Выберите коннектор типа «Cloud Search Service» и нажмите Next.
На странице настройки коннектора для целевого кластера CSS задайте его параметры:
Name — введите название коннектора.
Elasticsearch Server List — введите сервер Elasticsearch и номер порта.
Можно указать один или несколько серверов Elasticsearch. Для разделения нескольких IP-адресов используйте точку с запятой. Формат: ip:port.
Username — введите имя пользователя, используемое для подключения к целевому кластеру CSS.
Password — введите пароль, используемый для подключения к целевому кластеру CSS.
Нажмите Test для проверки коннектора или нажмите Save. Система автоматически проверит соединение и сохранит коннектор после успешной проверки.
См.также
Дополнительные сведения о параметрах данных разных типов:
Создание и запуск задания на миграцию
Выберите на странице Cluster Management.
Укажите настройки задания на шаге Configure Basic Information:
Job Name — введите название задания.
Название содержит от 1 до 256 символов и состоит из латинских букв, подчеркиваний (_), точек, дефисов и цифр, например «css-migration».
В блоке Source Job Configuration:
Source Link Name — выберите источник, из которого мигрируете данные.
Index — выберите имя индекса Elasticsearch, из которого мигрируете данные.
Type — выберите тип индекса Elasticsearch.
В блоке Destination Job Configuration:
Destination Link Name — выберите конечную точку, в которую мигрируете данные.
Index — введите имя целевого индекса Elasticsearch. Имя индекса может содержать только строчные буквы.
Type — выберите тип индекса Elasticsearch.
Нажмите Show Advanced Attributes в блоке Source Job Configuration и Destination Job Configuration для настройки дополнительных атрибутов источника данных и конечной точки миграции.
Нажмите Next, чтобы завершить настройку задачи миграции.
Проверьте параметры сопоставления полей исходного и целевого индексов на шаге Map Field.
Настройку сопоставления полей можно выполнить через преобразование соответствующих полей. CDM поддерживает следующие конвертеры полей:
Anonymization — скрывает ключевые данные в строке символов;
Trim — автоматически удаляет пробелы до и после строки символов;
Reverse string — автоматически переворачивает символьную строку;
Replace string — заменяет указанную символьную строку;
Expression conversion — использует язык выражений JSP (EL) для преобразования текущего поля или строки данных;
Remove line break — удаляет из поля символы новой строки, такие как «n», «r» и «rn».
Для сохранения параметров сопоставления полей по умолчанию нажмите Next.
Нажмите Next, чтобы завершить проверку сопоставления полей исходного и целевого индексов.
Задайте расписание для выполнения задания на шаге Configure Task:
Retry if Failure — количество повторных попыток при сбое. Выберите Never или Retry 3 times if failed.
Подсказка
Рекомендуется настроить автоматическую повторную попытку только для заданий переноса файлов или баз данных с включенным параметром Import to Staging Table, чтобы избежать несогласованности данных, вызванной повторной записью данных.
Group — выберите группу, в которой находится задание (группа по умолчанию — DEFAULT).
На странице Job Management задания можно отображать, запускать или экспортировать по группам.
Schedule Execution — включите возможность выполнения задания по расписанию.
Если выбран вариант Yes, то можно задать время начала, цикл и срок действия задания.
Show Advanced Attributes — нажмите для настройки дополнительных атрибутов расписания миграции данных.
Нажмите Save and Run, чтобы сохранить и сразу запустить задание. Нажмите Save, чтобы только сохранить задание.
Задание можно запустить в любой момент — для этого на вкладке Table/File Migration нажмите Run.
Просмотр результатов миграции
Статус запущенного задания можно просмотреть на вкладке Table/File Migration.
Примечание
Состояние задания может быть New, Pending, Booting, Running, Failed, Succeeded или Stopped.
Pending означает, что задание ожидает выполнения по расписанию, а Booting означает, что данные, подлежащие миграции, анализируются.
После успешного завершения задания откройте целевой индекс в консоли управления Cloud Search Service и убедитесь, что он содержит данные из исходного индекса.
для Dev & Test