Миграция полной базы данных Elasticsearch в CSS

CSS предоставляет пользователям возможности поиска структурированных и неструктурированных данных, статистики и создания отчетов. В этом разделе описывается, как использовать CDM для миграции полной базы данных Elasticsearch в Cloud Search Service. Процедура выглядит следующим образом:

1. Создание кластера CDM и привязка EIP к кластеру
2. Создание ссылки Cloud Search Service
3. Создание ссылки Elasticsearch
4. Создание задания полной миграции БД

• У вас достаточно квоты EIP.
• Вы подписались на CSS и получили IP-адрес и номер порта кластера CSS.
• Вы получили IP-адрес, номер порта, имя пользователя и пароль сервера базы данных Elasticsearch в локальном дата-центре.

  Если сервер Elasticsearch развернут в локальном дата-центре или в облаке стороннего провайдера, убедитесь, что для сервера Elasticsearch настроен IP-адрес, доступный из публичной сети, либо установлен VPN или Direct Connect между локальным дата-центром и .

1. Создайте кластер CDM.

   Ключевые конфигурации следующие:

   • Флейвор кластера CDM выбирается на основе объёма данных, подлежащих миграции. Обычно cdm.medium соответствует требованиям большинства сценариев миграции.
   • Кластеры CDM и Cloud Search Service должны находиться в одном VPC. Кроме того, рекомендуется, чтобы кластер CDM находился в той же подсети и группе безопасности, что и кластер Cloud Search Service.
   • Если по соображениям безопасности нельзя использовать одну и ту же подсеть и группу безопасности, убедитесь, что правило группы безопасности настроено для разрешения доступа кластера CDM к кластеру Cloud Search Service.

2. После создания кластера CDM на странице Cluster Management нажмите Bind EIP в столбце Operation, чтобы привязать EIP к кластеру. Кластер CDM использует EIP для доступа к локальному Elasticsearch.
   Note

   Если для канала доступа локального источника данных настроено шифрование SSL, CDM не может подключиться к источнику данных, используя EIP.

1. Нажмите Job Management в столбце Operation кластера CDM. На открывшейся странице нажмите вкладку Links, а затем Create Link. Отображается страница Select Connector.
2. Выберите Cloud Search Service и нажмите Next. На отображаемой странице настройте параметры ссылки CSS.
   • Name: введите пользовательское имя ссылки, например, csslink.
   • Elasticsearch Server List: введите IP‑адрес и номер порта кластера Cloud Search Service (кластер версии 5.x и выше). Формат: ip:port. Для разделения нескольких адресов используйте точку с запятой. Например, 192.168.0.1:9200;192.168.0.2:9200.
   • Username и Password: введите имя пользователя и пароль, используемые для входа в кластер Cloud Search Service. У пользователя должны быть права чтения и записи в базе данных.

3. Нажмите Save. Отображается страница Link Management.

1. На странице Cluster Management найдите кластер и нажмите Job Management в столбце Operation. На открывшейся странице нажмите вкладку Links, а затем Create Link.
2. Выберите Elasticsearch и нажмите Next для настройки параметров ссылки Elasticsearch. Параметры совпадают с параметрами ссылки CSS.
   • Name: Введите пользовательское имя ссылки, например, es_link.
   • Elasticsearch Server List: Введите IP-адрес и номер порта локальной базы данных Elasticsearch. Используйте точку с запятой для разделения нескольких адресов.

3. Нажмите Save. Страница Link Management отображается.

1. Выберите Entire DB Migration > Create Job для создания задания полной миграции DB.

   Figure 1 Создание задания полной миграции DB

   
   
   • Job Name: Введите уникальное имя.
   • Конфигурация исходного задания
     • Source Link Name: Выберите ссылку es_link, созданную в Creating an Elasticsearch Link.
     • Index: Нажмите значок рядом с полем ввода, чтобы выбрать индекс в локальной базе данных Elasticsearch или вручную ввести имя индекса. Имя может содержать только строчные буквы. Если необходимо мигрировать несколько индексов одновременно, задайте этому параметру символ подстановки. CDM мигрирует все индексы, соответствующие условию подстановки. Например, если этот параметр установлен в cdm*, CDM мигрирует все индексы, начинающиеся с cdm, такие как cdm01, cdmB3, cdm_45 и т.д.
   • Конфигурация целевого задания
     • Destination Link Name: Выберите ссылку csslink, созданную в Creating a Cloud Search Service Link.
     • Index: Введите индекс данных, которые будут записаны. Можно выбрать существующий индекс в Cloud Search Service или вручную ввести имя несуществующего индекса. Имя может содержать только строчные буквы. CDM автоматически создаёт индекс в Cloud Search Service. Если одновременно мигрируют несколько индексов, этот параметр нельзя настроить. CDM автоматически создаёт индексы в месте назначения миграции.
     • Clear Data Before Import: Если выбранный индекс уже существует в Cloud Search Service, вы можете выбрать, очищать ли данные в индексе перед импортом. Если выбрать No, данные будут добавлены в индекс.

2. Нажмите Save and Run. Отображается страница Job Management, на которой можно просмотреть прогресс выполнения задания и результат.

   Для каждого типа в локальном индексе Elasticsearch будет создана подзадача для параллельного выполнения. Вы можете нажать job name, чтобы просмотреть прогресс sub-job.

3. После успешного выполнения задачи, в столбце Operation задачи нажмите Historical Record, чтобы просмотреть исторические записи выполнения задачи, статистику чтения/записи и логи задачи (только у sub-jobs есть логи задачи).

   Рисунок 2 Historical Record