Кластеры Elasticsearch поддерживают несколько методов загрузки данных, как указано в Таблица 1. Выберите тот, который лучше всего соответствует вашим потребностям. Перед началом загрузки данных определите, следует ли сначала улучшить производительность загрузки данных в кластерах Elasticsearch. Для получения подробной информации см. Улучшение производительности загрузки данных в кластерах Elasticsearch.
Метод загрузки данных | Сценарий | Поддерживаемые форматы/источники данных | Подробности |
|---|---|---|---|
Open-source Logstash | Open-source Logstash предлагает серверный конвейер обработки данных в реальном времени, поддерживающий ввод данных из нескольких источников. Его можно использовать для ввода различных типов данных, таких как журналы, данные мониторинга и метрики. | JSON, CSV и текст | |
Open-source Elasticsearch API | Open-source Elasticsearch API можно использовать для ввода данных. Этот метод гибок, так как вы можете писать собственный код приложения. | JSON | |
Облачная миграция данных (CDM) | Вы можете использовать CDM для пакетной миграции данных. Например, если данные хранятся в OBS или базе данных Oracle, рекомендуется использовать CDM. | JSON | |
Служба репликации данных (DRS) | DRS можно использовать для онлайн миграции баз данных и синхронизации данных в реальном времени. | Relational Database Service (RDS) |
DRS — простой в использовании, стабильный и эффективный облачный сервис для онлайн миграции баз данных и синхронизации баз данных в реальном времени. Синхронизация данных в реальном времени относится к репликации данных в реальном времени из одного источника в другой при обеспечении согласованности данных.
DRS может использоваться для загрузки данных из разных типов реляционных баз данных в кластеры Elasticsearch. Подробную информацию о поддерживаемых версиях программного обеспечения для исходных баз данных и целевых кластеров см. Таблица 2.
Сценарий | Исходная БД | Целевой кластер Elasticsearch |
|---|---|---|
Загрузка данных из базы данных RDS for MySQL в кластер CSS Elasticsearch | RDS для MySQL 5.5, 5.6, 5.7, или 8.0 | Elasticsearch 5.5, 6.2, 6.5, 7.1, 7.6, 7.9, или 7.10 |
Загрузка данных из базы данных TaurusDB в кластер CSS Elasticsearch | Primary/standby экземпляры TaurusDB | Elasticsearch 5.5, 6.2, 6.5, 7.1, 7.6, 7.9, или 7.10 |
Загрузка данных из внутренней построенной базы данных MySQL в кластер CSS Elasticsearch | MySQL база данных 5.5, 5.6, 5.7, или 8.0, созданная на локальном сервере или ECS | Elasticsearch 5.5, 6.2, 6.5, 7.1, 7.6, 7.9, или 7.10 |