Миграция базы данных Elasticsearch в облако Advanced

Подготовка исходного индекса

1. Добавьте хост в кластер Elasticsearch, содержащий исходный индекс, и назначьте публичный IP-адрес хосту.

   В некоторых облачных сервисах назначить публичный IP-адрес добавленному ранее хосту невозможно.

   Примечание

   Если после добавления хоста к нему невозможно подключиться, убедитесь что группа безопасности кластера настроена корректно для подсети, в которую помещен хост.

2. Настройте все группы безопасности кластера Elasticsearch, содержащего исходный индекс, так, чтобы они не препятствовали подключению к кластеру.

3. Скопируйте и сохраните имя пользователя и пароль для доступа к исходному индексу.

Создание кластера Elasticsearch в облаке Advanced

Подготовка кластера CDM

1. Войдите в консоль управления Advanced:

   • через личный кабинет Cloud.ru;

   • как IAM-пользователь.

2. В списке сервисов выберите DataArts Studio.

3. Выберите инстанс DataArts Studio и нажмите Access.

   Примечание

   Если инстанс DataArts Studio отсутствует, то необходимо создать его (en).

4. Откройте инстансу DataArts Studio доступ в интернет. Для этого:

   • Создайте внешний IP-адрес.

   • Создайте NAT-шлюз в той же подсети, где расположен кластер CSS.

   • Добавьте SNAT-правило и привяжите к NAT-шлюзу созданный ранее внешний IP-адрес.

5. Перейдите на вкладку Workspace Management.

6. Выберите Data Integration для соответствующей рабочей области.

7. Выберите Cloud Data Migration.

   Примечание

   Если инстанс CDM отсутствует, то необходимо создать его (en).

Создание коннекторов

1. На странице Cluster Management выберите Job Management → Links → Create Link.

2. Выберите коннектор типа «Cloud Search Service» для исходного индекса и нажмите Next.

3. На странице настройки коннектора для исходного индекса задайте его параметры:

   • Name — введите название коннектора.

   • Elasticsearch Server List — введите сервер Elasticsearch, содержащий исходный индекс, и номер порта.

     Можно указать один или несколько серверов Elasticsearch. Для разделения нескольких IP-адресов используйте точку с запятой. Формат: ip:port.

   • Security mode Authentication — включите проверку подлинности в режиме безопасности.

     Выберите Yes, если для подключения к кластеру Elasticsearch включен режим Security Mode.

     В противном случае установите для этого параметра значение No.

   • Username — введите имя пользователя, используемое для подключения к кластеру с исходным индексом.

   • Password — введите пароль, используемый для подключения к кластеру с исходным индексом.

4. Нажмите Test для проверки коннектора или нажмите Save, и система автоматически проверит соединение и сохранит коннектор после успешной проверки.

   Примечание

   Если транспортная сеть имеет низкую пропускную способность или источник данных имеет слишком большой размер, проверка коннектора может занять от 30 до 60 секунд.

5. Нажмите Create Link, чтобы перейти к созданию коннектора для целевого кластера Elasticsearch.

6. Выберите коннектор типа «Cloud Search Service» и нажмите Next.

7. На странице настройки коннектора для целевого кластера CSS задайте его параметры:

   • Name — введите название коннектора.

   • Elasticsearch Server List — введите сервер Elasticsearch и номер порта.

     Можно указать один или несколько серверов Elasticsearch. Для разделения нескольких IP-адресов используйте точку с запятой. Формат: ip:port.

   • Username — введите имя пользователя, используемое для подключения к целевому кластеру CSS.

   • Password — введите пароль, используемый для подключения к целевому кластеру CSS.

8. Нажмите Test для проверки коннектора или нажмите Save. Система автоматически проверит соединение и сохранит коннектор после успешной проверки.

   См.также

   Дополнительные сведения о параметрах данных разных типов:

   • Параметры для ссылки-источника (en)

   • Параметры для целевой ссылки (en)

Создание и запуск задания на миграцию

1. Выберите Job Management → Table/File Migration → Create Job на странице Cluster Management.

2. Укажите настройки задания на шаге Configure Basic Information:

   • Job Name — введите название задания.

     Название содержит от 1 до 256 символов и состоит из латинских букв, подчеркиваний (_), точек, дефисов и цифр, например «css-migration».

3. В блоке Source Job Configuration:

   • Source Link Name — выберите источник, из которого мигрируете данные.

   • Index — выберите имя индекса Elasticsearch, из которого мигрируете данные.

   • Type — выберите тип индекса Elasticsearch.

4. В блоке Destination Job Configuration:

   • Destination Link Name — выберите конечную точку, в которую мигрируете данные.

   • Index — введите имя целевого индекса Elasticsearch. Имя индекса может содержать только строчные буквы.

   • Type — выберите тип индекса Elasticsearch.

5. Нажмите Show Advanced Attributes в блоке Source Job Configuration и Destination Job Configuration для настройки дополнительных атрибутов источника данных и конечной точки миграции.

   См.также

   Настройка дополнительных атрибутов в задании на миграцию (en)

6. Нажмите Next, чтобы завершить настройку задачи миграции.

7. Проверьте параметры сопоставления полей исходного и целевого индексов на шаге Map Field.

   Настройку сопоставления полей можно выполнить через преобразование соответствующих полей. CDM поддерживает следующие конвертеры полей:

   • Anonymization — скрывает ключевые данные в строке символов;

   • Trim — автоматически удаляет пробелы до и после строки символов;

   • Reverse string — автоматически переворачивает символьную строку;

   • Replace string — заменяет указанную символьную строку;

   • Expression conversion — использует язык выражений JSP (EL) для преобразования текущего поля или строки данных;

   • Remove line break — удаляет из поля символы новой строки, такие как «n», «r» и «rn».

   См.также

   Дополнительные сведения о преобразовании полей (en)

   Для сохранения параметров сопоставления полей по умолчанию нажмите Next.

8. Нажмите Next, чтобы завершить проверку сопоставления полей исходного и целевого индексов.

9. Задайте расписание для выполнения задания на шаге Configure Task:

   • Retry if Failure — количество повторных попыток при сбое. Выберите Never или Retry 3 times if failed.

   Подсказка

   Рекомендуется настроить автоматическую повторную попытку только для заданий переноса файлов или баз данных с включенным параметром Import to Staging Table, чтобы избежать несогласованности данных, вызванной повторной записью данных.

   • Group — выберите группу, в которой находится задание (группа по умолчанию — DEFAULT).

     На странице Job Management задания можно отображать, запускать или экспортировать по группам.

   • Schedule Execution — включите возможность выполнения задания по расписанию.

     Если выбран вариант Yes, то можно задать время начала, цикл и срок действия задания.

   См.также

   Дополнительные сведения о планировании задания (en)

   • Show Advanced Attributes — нажмите для настройки дополнительных атрибутов расписания миграции данных.

   См.также

   Дополнительные атрибуты в задании на миграцию (en)

10. Нажмите Save and Run, чтобы сохранить и сразу запустить задание. Нажмите Save, чтобы только сохранить задание.

    Задание можно запустить в любой момент — для этого на вкладке Table/File Migration нажмите Run.

Просмотр результатов миграции

1. Статус запущенного задания можно просмотреть на вкладке Table/File Migration.

   Примечание

   Состояние задания может быть New, Pending, Booting, Running, Failed, Succeeded или Stopped.

   Pending означает, что задание ожидает выполнения по расписанию, а Booting означает, что данные, подлежащие миграции, анализируются.

2. После успешного завершения задания откройте целевой индекс в консоли управления Cloud Search Service и убедитесь, что он содержит данные из исходного индекса.