При построении корпоративной поисковой и аналитической платформы может потребоваться загрузка больших объёмов разнородных данных, распределённых по реляционным базам данных (например, MySQL и Oracle), системам обмена сообщениями (например, Kafka), сервисам объектного хранилища (например, OBS) и бизнес‑приложениям в кластер OpenSearch. Чтобы удовлетворить различные требования к задержке данных, объёму данных и затратам на разработку, кластеры CSS OpenSearch предоставляют несколько методов загрузки данных. В этом разделе кратко представлены и сравниваются эти методы, их применимые сценарии и характеристики, чтобы помочь выбрать оптимальный вариант.
Перед загрузкой больших объёмов данных можно повысить производительность загрузки целевого кластера OpenSearch, чтобы увеличить пропускную способность. Подробнее см. Enhancing Data Ingestion Performance.
Метод | Когда использовать | Поддерживаемый источник/формат | Подробности |
|---|---|---|---|
Cloud Data Migration (CDM) | Необходимо выполнить полную миграцию исторических данных. Этот метод не требует написания кода и управляется пошаговым мастером. Например, можно загрузить многолетние архивные журналы из OBS или исторические заказы из Oracle в OpenSearch. | OBS (JSON/CSV), Oracle и MySQL | |
Open-source Logstash | Если необходимо перенести данные из локального IDC в кластеры OpenSearch в облаке, при этом можно использовать специальные плагины или глубоко настроенную логику конвейера. Например, вы можете загружать системные журналы из локального центра обработки данных в OpenSearch через SSH‑туннель. | Любой источник, поддерживаемый входом Logstash, например JSON, CSV и текст | |
Open-source API | Вам необходимо быстро записывать небольшие объёмы данных в OpenSearch во время разработки или отладки. Например, вы можете позволить Java/Python‑приложениям напрямую вызывать OpenSearch API для записи данных. | JSON |