Облачная платформаAdvanced

Миграция данных с помощью CDM

Язык статьи: Русский
Показать оригинал
Страница переведена автоматически и может содержать неточности. Рекомендуем сверяться с английской версией.

Организации часто используют разнородные платформы, при этом данные распределены между традиционными реляционными базами данных, такими как Oracle, и системами хранения, например Object Storage Service (OBS). Чтобы обеспечить высокопроизводительный полнотекстовый поиск и аналитику, эти данные часто необходимо мигрировать в Elasticsearch. Однако миграция больших объёмов разнородных данных с помощью пользовательских скриптов обходится дорого и часто затрудняется сложными сетевыми конфигурациями и низкой эффективностью передачи. Сервис Cloud Data Migration (CDM) упрощает этот процесс, предоставляя управляемый сервис без кода, поддерживающий высокую конкурентность и возобновляемые передачи. С помощью CDM вы можете быстро и безопасно мигрировать данные из баз данных Oracle или OBS в кластеры CSS Elasticsearch.
Table 1 Загрузка данных в CSS с помощью CDM

Сценарий

Исходные данные

Целевой кластер

Загрузка данных из базы данных Oracle в CSS

Локальная или сторонняя база данных Oracle

Elasticsearch 5.5, 6.2, 6.5, 7.1, 7.6, 7.9 или 7.10

Загрузка данных из OBS в CSS

Файлы JSON/CSV в бакетах OBS

Elasticsearch 5.5, 6.2, 6.5, 7.1, 7.6, 7.9 или 7.10

Подготовка

  1. Подключите сеть.
    • Убедитесь, что кластер CDM, кластер CSS и бакет OBS находятся в одной VPC. Это обеспечивает передачу данных по внутренней сети для оптимальной скорости.
    • Если источник — on-premises Oracle database, убедитесь, что CDM может получить к нему доступ через VPN, Direct Connect или публичный IP-адрес.
  2. Получите информацию о подключении
    • Получите частный сетевой адрес (например, 192.168.xxx.xxx:9200), имя пользователя и пароль CSS кластера. (Имя пользователя и пароль требуются только для кластера в режиме безопасности.)
    • Если источник — Oracle database, получите IP-адрес базы данных, порт, имя базы данных, имя пользователя и пароль.
    • Если источник — OBS, получите имя бакета OBS, доменное имя, порт, AK и SK.

Миграция данных

  1. Войдите в Kibana и перейдите на страницу выполнения команд.
    1. Войдите в консоль управления CSS.
    2. В панели навигации слева выберите Clusters > Elasticsearch.
    3. В списке кластеров найдите целевой кластер и нажмите Kibana в столбце Operation, чтобы войти в консоль Kibana.
    4. В левой панели навигации выберите Dev Tools.

      Левая часть консоли — это поле ввода команды, а треугольный значок в её правом верхнем углу является кнопкой выполнения. Правая часть отображает результат выполнения.
  2. (Необязательно) Создайте целевой индекс в кластере Elasticsearch. CDM может автоматически создавать целевые индексы. Однако, чтобы обеспечить оптимальную производительность запросов, рекомендуется заранее определить сопоставления индексов в целевом кластере Elasticsearch.

    Например, выполните следующую команду для создания индекса demo:
    • Для Elasticsearch 7.x и новее:
      PUT /demo
      {
        "settings": {
          "number_of_shards": 1
        },
        "mappings": {
            "properties": {
              "productName": {
                "type": "text",
                "analyzer": "ik_smart"
              },
              "size": {
                "type": "keyword"
              }
            }
          }
        }
    • Для Elasticsearch версии ранее 7.x:
      PUT /demo
      {
        "settings": {
          "number_of_shards": 1
        },
        "mappings": {
          "products": {
            "properties": {
              "productName": {
                "type": "text",
                "analyzer": "ik_smart"
              },
              "size": {
                "type": "keyword"
              }
            }
          }
        }
      }

    Команда считается успешно выполненной, если отображается следующая информация.

     
    {
      "acknowledged" : true,
      "shards_acknowledged" : true,
      "index" : "demo"
    }
  3. Загружайте данные из Oracle или OBS в кластер Elasticsearch с помощью CDM.
    • Если источником данных является база данных Oracle, см. раздел "Migrating Data from Oracle to CSS" в Cloud Data Migration User Guide для руководства по операции.
    • Если источником данных является OBS, см. "Migrating Data from OBS to CSS" в Cloud Data Migration User Guide для руководства по операции.
    Note

    Если источником данных является MySQL, см. "Creating a MySQL Connector" в Cloud Data Migration User Guide для получения инструкций по подключению к базе данных MySQL.
  4. После завершения миграции проверьте целостность данных.
    1. Войдите в кластер Elasticsearch через Kibana и перейдите на страницу Dev Tools.
    2. Выполните следующую команду для проверки недавно загруженных данных:
      GET demo/_count         # Check the number of records ingested.
      GET demo/_search        # Check the content of the ingested data.

      Если результаты соответствуют источнику, загрузка данных считается успешной.
Родительская тема: Ingesting Data
Предыдущая статья
Методы загрузки данных
Следующая статья
Загрузка данных с помощью Self-Managed Logstash
Поддержка Юридические документы Политика конфиденциальности
© 2026 Cloud.ru