Облачная платформаAdvanced

Использование CDM для импорта данных в кластер OpenSearch

Эта статья полезна?

Язык статьи: Русский

Страница переведена автоматически и может содержать неточности. Рекомендуем сверяться с английской версией.

С помощью CSS вы можете использовать веб‑интерфейс пользователя сервиса Cloud Data Migration (CDM) для импорта данных из базы данных Oracle или OBS в кластер OpenSearch. Поддерживаются только JSON файлы.

Таблица 1 Использование CDM для импорта данных в CSS
Сценарий	Исходные данные	Целевой кластер
Импорт данных из Oracle базы данных в CSS	Локальная или сторонняя Oracle база данных	OpenSearch 1.3.6
Импорт данных из OBS в CSS	JSON файлы в OBS бакетах	OpenSearch 1.3.6

Подготовка

Подтвердите исходные данные.

Например, исходные данные могут быть следующими JSON файлами:

{"index": {"_index":"my_store"}}
{"productName":"Autumn new woman blouses 2019","size":"M"}
{"index": {"_index":"my_store"}}
{"productName":"Autumn new woman blouses 2019","size":"L"}

Получите информацию об источнике данных.
- Если источник данных — база данных Oracle, необходимо получить IP‑адрес, имя базы данных, имя пользователя и пароль базы данных.
- Если источник данных — JSON‑файлы в бакете OBS, необходимо получить его доменное имя, порт, AK и SK.
Если источник данных — база данных Oracle, убедитесь, что к базе данных Oracle можно получить доступ по публичному IP‑адресу, либо соединение VPN или Direct Connect было установлено между дата‑центром клиента и облачным сервисом.

Импорт данных

Войдите в консоль управления CSS.
В навигационной панели слева выберите Кластеры > OpenSearch.
В списке кластеров получите приватный IP‑адрес целевого кластера из Приватный IP-адрес столбца. Как правило, формат IP‑адреса <host>:<port> или <host>:<port>,<host>:<port>.
Если в кластере только один узел, отображаются IP‑адрес и номер порта этого узла, например, 10.62.179.32:9200. Если в кластере несколько узлов, отображаются IP‑адреса и номера портов всех узлов, например, 10.62.179.32:9200,10.62.179.33:9200.
В списке кластеров найдите целевой кластер и нажмите Dashboards в Операция столбце для входа в OpenSearch Dashboards.
В левой навигационной панели выберите Инструменты разработки.
Выполните следующую команду в OpenSearch Dashboards, чтобы проверить, есть ли в кластере индексы:
```
GET _cat/indices?v
```
- Если в кластере, в который вы хотите импортировать данные, есть индексы, создавать индекс не нужно. Перейдите к 8.
- Если в кластере нет индексов, перейдите к следующему шагу, чтобы создать индекс.
Выполните следующую команду для создания индекса, в котором будут храниться импортированные данные, и создайте пользовательское сопоставление, определяющее тип данных.
Для примера выполните следующую команду для создания индекса demo:
```
PUT /demo
{
  "settings": {
    "number_of_shards": 1
  },
  "mappings": {
      "properties": {
        "productName": {
          "type": "text",
          "analyzer": "ik_smart"
        },
        "size": {
          "type": "keyword"
        }
      }
    }
  }
```
Команда выполнена успешно, если отображается следующая информация.
```
{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "index" : "demo"
}
```
Используйте CDM для импорта данных из Oracle или OBS в кластер OpenSearch.

После завершения миграции данных перейдите снова в консоль OpenSearch Dashboards кластера OpenSearch и выполните поиск импортированных данных.

Выполните следующую команду для поиска данных. Если импортированные данные соответствуют исходным данным, импорт данных завершён успешно.

GET demo/_search

демо это имя созданного индекса. Замените его, если используется другой индекс.

Команда успешно выполнена, если отображается следующая информация.

{
  "took": 18,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 2,
    "max_score": 1,
    "hits": [
      {
        "_index": "demo",
        "_type": "products",
        "_id": "g6UepnEBuvdFwWkRmn4V",
        "_score": 1,
        "_source": {
          "size": """"size":"L"}""",
          "productName": """{"productName":"Latest art shirts for women in autumn 2019""""
        }
      },
      {
        "_index": "demo",
        "_type": "products",
        "_id": "hKUepnEBuvdFwWkRmn4V",
        "_score": 1,
        "_source": {
          "size": """"size":"M"}""",
          "productName": """{"productName":"Latest art shirts for women in autumn 2019""""
        }
      }
    ]
  }
}

Родительская тема: Импорт данных в кластер OpenSearch

Поддержка Юридические документы