Загрузка данных с использованием Open-Source OpenSearch APIs

В OpenSearch Dashboards вы можете выполнять команды POST для импорта данных с использованием открытого API OpenSearch.

Применимые сценарии: разработка и отладка, небольшие разовые записи данных и проверка синтаксиса.

1. Войдите в OpenSearch Dashboards.
   1. Войдите в консоль управления CSS.
   2. В панели навигации слева выберите Clusters > OpenSearch.
   3. В списке кластеров найдите целевой кластер и нажмите Dashboards в столбце Operation, чтобы войти в OpenSearch Dashboards.
   4. В левой панели навигации выберите Dev Tools.

      Левая часть консоли представляет собой поле ввода команд, а треугольный значок в её правом верхнем углу является кнопкой выполнения. Правая часть отображает результат выполнения.

2. (Необязательно) Создайте индекс и укажите пользовательскую схему, чтобы определить типы данных полей.

   Например, выполните следующую команду для создания индекса my_store:

   PUT /my_store
   {
       "settings": {
           "number_of_shards": 1
       },
       "mappings": {
           "properties": {
               "productName": {
                   "type": "text"
               },
               "size": {
                   "type": "keyword"
               }
           }
       }
   }
   
   

3. Запишите данные в индекс.

   Например, выполните следующую команду для записи записи в индекс my_store:

   POST /my_store/_bulk  
   {"index":{}}  
   {"productName":"Latest art shirts for women in 2017 autumn","size":"L"}
   
   

4. Проверьте результат.

   Проверьте результат. Если значение errors равно false и значение result в каждой записи в массиве items равно created, все записи успешно записаны.

На сервере ECS вы можете выполнять команды cURL для импорта файлов через открытый API OpenSearch.

Применимые сценарии: пакетная загрузка локальных файлов JSON с использованием скрипта автоматизации.

1. Подготовьте ECS. Приобретите ECS, расположенный в той же VPC, что и целевой кластер OpenSearch.
2. Получите приватный сетевой адрес кластера.
   1. Войдите в консоль управления CSS.
   2. В панели навигации слева выберите Clusters > OpenSearch.
   3. In the cluster list, obtain the target cluster's internal network address from the Internal Network Address column. Typical address format: <host>:<port> or <host>:<port>,<host>:<port>. Example: 10.62.179.32:9200,10.62.179.33:9200.

      Если в кластере есть клиентские узлы, отображаются только IP‑адреса и порты всех клиентских узлов. В противном случае отображаются IP‑адреса и порты всех узлов данных и холодных узлов данных.

3. Проверьте подключение. Выполните ping приватного сетевого адреса кластера OpenSearch с ECS. Если успешно, соединение установлено.
4. Подготовьте документы. Загрузите файл JSON на ECS.

   Например, сохраните следующие данные в файл test.json и загрузите его на ECS:

   {"index": {"_index":"my_store"}}
   {"productName":"Autumn new woman blouses 2019","size":"M"}
   {"index": {"_index":"my_store"}}
   {"productName":"Autumn new woman blouses 2019","size":"L"}
   
   

5. (Optional) Создайте индекс и укажите пользовательскую схему, чтобы определить типы данных полей.

   Например, выполните следующую команду для создания индекса my_store:

   • Для кластера без режима безопасности (HTTP): аутентификация не требуется.

     curl -X PUT "http://<host>:<port>/my_store" \
          -H 'Content-Type: application/json' \
          -d '{
            "settings": {
              "number_of_shards": 1
            },
            "mappings": {
              "properties": {
                "productName": {
                  "type": "text"
                },
                "size": {
                  "type": "keyword"
                }
              }
            }
          }'
     
     

   • Для кластера в режиме безопасности, использующего HTTP: требуется аутентификация. Если пароль содержит специальные символы, такие как !, заключите пароль в одинарные кавычки, например, -u 'admin':'Pass!word'.

     curl -X PUT -u <user>:<password> "http://<host>:<port>/my_store" \
          -H 'Content-Type: application/json' \
          -d '{
            "settings": {
              "number_of_shards": 1
            },
            "mappings": {
              "properties": {
                "productName": {
                  "type": "text"
                },
                "size": {
                  "type": "keyword"
                }
              }
            }
          }'
     
     

   • Для кластера в режиме безопасности, использующего HTTPS: требуется аутентификация. Если пароль содержит специальные символы, такие как !, заключите пароль в одинарные кавычки, например, -u 'admin':'Pass!word'. Кроме того, игнорируйте аутентификацию SSL сертификата.

     curl -X PUT -k -u <user>:<password> "https://<host>:<port>/my_store" \
          -H 'Content-Type: application/json' \
          -d '{
            "settings": {
              "number_of_shards": 1
            },
            "mappings": {
              "properties": {
                "productName": {
                  "type": "text"
                },
                "size": {
                  "type": "keyword"
                }
              }
            }
          }'
     
     

6. Загрузите JSON‑файл в кластер OpenSearch:

   Выполните следующую команду в каталоге ECS, где хранится JSON‑файл:

   • Для кластера без режима безопасности (HTTP): аутентификация не требуется.

     curl -X POST "http://<host>:<port>/_bulk" \
          -H 'Content-Type: application/json' \
          --data-binary @test.json
     
     

   • Для кластера в режиме безопасности, использующего HTTP: требуется аутентификация. Если пароль содержит специальные символы, такие как !, заключите пароль в одинарные кавычки, например, -u 'admin':'Pass!word'.

     curl -X POST -u <user>:<password> "http://<host>:<port>/_bulk" \
          -H 'Content-Type: application/json' \
          --data-binary @test.json
     
     

   • Для кластера в режиме безопасности, использующего HTTPS: требуется аутентификация. Если пароль содержит специальные символы, такие как !, заключите пароль в одинарные кавычки, например, -u 'admin':'Pass!word'. Кроме того, игнорируйте аутентификацию SSL сертификата.

     curl -X POST -k -u <user>:<password> "https://<host>:<port>/_bulk" \
          -H 'Content-Type: application/json' \
          --data-binary @test.json
     
     

   Note

   If the designated cluster node is unavailable, the command will fail. If the cluster contains multiple nodes, replace <host> with the IP address of another node. If the cluster contains only one node, you have to wait until the node recovers.

7. Проверьте результат.

   После загрузки данных возвращается следующая информация:

   {"took":204, "errors":false, "items":[...]}
   
   

   Если значение errors равно false, все данные успешно загружены.