Миграция базы данных Elasticsearch в облако Advanced
Компонент CDM сервиса DAYU позволяет мигрировать нереляционную базу данных типа Elasticsearch. В облаке Advanced индексы этой базы данных управляются с помощью CSS — распределенной поисковой системы на основе Elasticsearch.
Примечание
Миграция базы данных Elasticsearch в облако Advanced может быть выполнена с использованием CDM со следующими ограничениями:
Доступна только миграция индексов.
Визуализация Kibana не переносится.
Для миграции:
подготовьте исходный индекс к миграции;
создайте кластер CSS в облаке Advanced;
используйте компонент CDM сервиса DAYU для переноса исходного индекса в облако Advanced.
Порядок действий
Подготовка исходного индекса
Добавьте хост в кластер Elasticsearch, содержащий исходный индекс, и назначьте публичный IP-адрес хосту.
Примечание
В некоторых облачных сервисах назначить публичный IP-адрес добавленному ранее хосту невозможно.
Примечание
Если после добавления хоста к нему невозможно подключиться, убедитесь что группа безопасности кластера настроена корректно для подсети, в которую помещен хост.
Настройте все группы безопасности кластера Elasticsearch, содержащего исходный индекс, так, чтобы они не препятствовали подключению к кластеру.
Скопируйте и сохраните имя пользователя и пароль для доступа к исходному индексу.
Создание кластера Elasticsearch в облаке Advanced
Создайте в облаке Advanced кластер Elasticsearch (en), в который будут мигрировать данные из исходного индекса.
При создании кластера можно задать класс хранения, политику доступа и другие параметры в соответствии с параметрами исходного индекса.
Для доступа к кластеру Elasticsearch используйте Kibana (en) в консоли управления сервиса CSS.
Подготовка кластера CDM
Для подготовки кластера CDM:
Войдите в консоль Advanced и откройте сервис DAYU в разделе EI Enterprise Intelligence.
Выберите инстанс DAYU и нажмите Access.
Примечание
Если инстанс DAYU отсутствует, то его необходимо создать (en).
Откройте инстансу DAYU доступ в интернет. Для этого:
Создайте NAT-шлюз в той же подсети, где расположен кластер CSS.
Добавьте SNAT-правило и привяжите к NAT-шлюзу созданный ранее внешний IP-адрес.
Перейдите на вкладку Workspace Management.
Выберите Data Integration для соответствующей рабочей области.
Выберите Cloud Data Migration.
Примечание
Если инстанс CDM отсутствует, то его необходимо создать (en).
Создание коннекторов
Перед созданием задачи на миграцию настройте коннекторы, позволяющие кластеру CSS считывать данные из кластера с исходным индексом и записывать их в облако Advanced.
На странице Cluster Management выберите .
Выберите коннектор типа «Cloud Search Service» для исходного индекса и нажмите Next.
На странице настройки коннектора для исходного индекса задайте его параметры:
Name — введите название коннектора.
Elasticsearch Server List — введите сервер Elasticsearch, содержащий исходный индекс, и номер порта. Формат: ip:port.
Подсказка
В Elasticsearch Server List может быть указан один или несколько серверов Elasticsearch. Для разделения нескольких IP-адресов используйте точку с запятой.
Security mode Authentication — включите проверку подлинности в режиме безопасности.
Подсказка
Выберите: Yes, если для подключения к кластеру Elasticsearch включен режим Security Mode. В противном случае установите для этого параметра значение No.
Username — введите имя пользователя, используемое для подключения к кластеру с исходным индексом.
Password — введите пароль, используемый для подключения к кластеру с исходным индексом.
Нажмите Test для проверки коннектора или нажмите Save, и система автоматически проверит соединение и сохранит коннектор после успешной проверки.
Примечание
Если транспортная сеть имеет низкую пропускную способность или источник данных имеет слишком большой размер, проверка коннектора может занять от 30 до 60 секунд.
Нажмите Create Link, чтобы перейти к созданию коннектора для целевого кластера Elasticsearch.
Выберите коннектор типа «Cloud Search Service» и нажмите Next.
На странице настройки коннектора для целевого кластера CSS задайте его параметры:
Name — введите название коннектора.
Elasticsearch Server List — введите сервер Elasticsearch и номер порта. Формат: ip:port.
Подсказка
В Elasticsearch Server List может быть указан один или несколько серверов Elasticsearch. Для разделения нескольких IP-адресов используйте точку с запятой.
Username — введите имя пользователя, используемое для подключения к целевому кластеру CSS.
Password — введите пароль, используемый для подключения к целевому кластеру CSS.
Нажмите Test для проверки коннектора или нажмите Save, и система автоматически проверит соединение и сохранит коннектор после успешной проверки.
См.также
Дополнительные сведения о параметрах источников данных разных типов:
Создание и запуск задания на миграцию
Выберите на странице Cluster Management.
Укажите настройки задания на шаге Configure Basic Information:
Job Name — введите название задания. Название — это строка длиной от 1 до 256 символов, состоящая из латинских букв, подчеркиваний (_), точек, дефисов и цифр, например, «css-migration».
В блоке Source Job Configuration:
Source Link Name — выберите источник, из которого мигрируете данные.
Index — выберите имя индекса Elasticsearch, из которого мигрируете данные.
Type — выберите тип индекса Elasticsearch.
В блоке Destination Job Configuration:
Destination Link Name — выберите конечную точку, в которую мигрируете данные.
Index — введите имя целевого индекса Elasticsearch. Имя индекса может содержать только строчные буквы.
Type — выберите тип индекса Elasticsearch.
Нажмите Show Advanced Attributes в блоке Source Job Configuration и Destination Job Configuration для настройки дополнительных атрибутов источника данных и конечной точки миграции.
См.также
Подробнее о настройке дополнительных атрибутов в задании на миграцию:
для исходного индекса (en);
для целевого индекса (en).
Нажмите Next, чтобы завершить настройку задачи миграции.
Проверьте параметры сопоставления полей исходного и целевого индексов на шаге Map Field.
Примечание
Настройку сопоставления полей можно выполнить через преобразование соответствующих полей. CDM поддерживает следующие конвертеры полей:
Anonymization — скрывает ключевые данные в строке символов;
Trim — автоматически удаляет пробелы до и после строки символов;
Reverse string — автоматически переворачивает символьную строку;
Replace string — заменяет указанную символьную строку;
Expression conversion — использует язык выражений JSP (EL) для преобразования текущего поля или строки данных;
Remove line break — удаляет из поля символы новой строки, такие как «n», «r» и «rn».
См.также
Для сохранения параметров сопоставления полей по умолчанию нажмите Next.
Нажмите Next, чтобы завершить проверку сопоставления полей исходного и целевого индексов.
Задайте расписание для выполнения задания на шаге Configure Task:
Retry if Failure — количество повторных попыток при сбое. Выберите: Never или Retry 3 times if failed.
Подсказка
Рекомендуется настроить автоматическую повторную попытку только для заданий переноса файлов или баз данных с включенным параметром Import to Staging Table, чтобы избежать несогласованности данных, вызванной повторной записью данных.
Group — выберите группу, в которой находится задание (группа по умолчанию — DEFAULT).
Подсказка
На странице Job Management задания можно отображать, запускать или экспортировать по группам.
Schedule Execution — включите возможность выполнения задания по расписанию. Если выбран вариант Yes, то можно задать время начала, цикл и срок действия задания.
См.также
Show Advanced Attributes — нажмите для настройки дополнительных атрибутов расписания миграции данных.
См.также
Сведения о настройке дополнительных атрибутов расписания миграции данных смотрите в таблице «Описание параметра» (en).
Нажмите Save and Run, чтобы сохранить и сразу запустить задание. Нажмите Save, чтобы только сохранить задание.
Задание можно запустить в любой момент — для этого на вкладке Table/File Migration нажмите Run.
Просмотр результатов миграции
Статус запущенного задания можно просмотреть на вкладке Table/File Migration.
Примечание
Состояние задания может быть New, Pending, Booting, Running, Failed или Succeeded.
Pending означает, что задание ожидает выполнения по расписанию, а Booting означает, что данные, подлежащие миграции, анализируются.
После успешного завершения задания откройте целевой индекс в консоли управления Cloud Search Service и убедитесь, что он содержит данные из исходного индекса.
для Dev & Test