В сценариях крупномасштабной обработки данных и реального времени поглощения журналов разработчикам часто требуется извлекать данные из различных источников, таких как Kafka и MySQL, в Elasticsearch или OpenSearch. Ключевые проблемы в таких задачах включают сетевую связность, прерывания задач и сложность управления несколькими конвейерами. CSS предоставляет веб‑центр конфигурации для кластеров Logstash, где можно проверить сетевую связность между Logstash и источником данных и назначением одним щелчком, а также запустить или выполнить hot‑start конвейеров. Чтобы обеспечить высокую доступность и стабильность в сложных сценариях, CSS также разворачивает механизм Keepalive, поддерживаемый процессом‑демоном.
Option | Start | Hot Start |
|---|---|---|
Как это работает | Когда в кластере нет запущенных конвейеров, система инициализирует среду выполнения и загружает конфигурацию. | Когда в кластере уже есть запущенные конвейеры, новый конвейер загружается динамически без перезапуска всего процесса Logstash, обеспечивая отсутствие прерываний сервиса. |
Пакетная обработка | Можно запустить до 50 файлов конфигурации одновременно. | Только один файл конфигурации может быть запущен за раз. |
Keepalive | Вы можете выбрать включить или отключить Keepalive. | Параметр Keepalive наследуется от существующих конвейеров в кластере. Его нельзя изменить. |
Когда использовать | В кластере нет Running конвейеров. | В кластере уже есть Running конвейеры. Вы используете эту опцию для добавления новых конвейеров без прерывания существующих конвейеров. |
Ограничение | N/A |
|
В списке конвейеров кластера Logstash может быть до 50 Running файлов конфигурации.
Перед запуском задачи миграции проверьте подключение между Logstash и источником данных, а также назначением. Это помогает предотвратить сбои задачи, вызванные проблемами подключения.
Как работает тест подключения:
Требования к тесту подключения
В зависимости от расположения кластера Logstash, источника данных и назначения, необходимо соблюсти следующие условия:
Можно протестировать одновременно не более 10 IP‑адресов. Нажмите Add, чтобы добавить дополнительные IP‑адреса, и нажмите Test внизу, чтобы проверить подключение к нескольким IP‑адресам одновременно.
Если Available возвращается, сеть подключена. Если Unavailable возвращается, устраните проблему, следуя What Should I Do If the Result of a Logstash Connectivity Test Is Unavailable?.
Запустите Logstash pipeline для миграции данных из источника в назначение.
Выберите Keepalive для длительных потоков данных в производственных средах. Если сервис Logstash останавливается из‑за непредвиденной ошибки, система автоматически попытается перезапустить его.
Снимите выбор Keepalive для одноразовых задач офлайн‑миграции данных. Обратите внимание, что если в источнике нет данных, включение Keepalive может привести к повторному перезапуску конвейера, что может вызвать ошибки.
После запуска конвейеров миграции данных вы можете мониторить их следующими способами:
В списке конвейеров найдите целевой конвейер и нажмите Metric Monitoring в столбце Operation, чтобы перейти в консоль Cloud Eye, где вы можете проверить метрики для оценки его статуса и производительности.
Когда данные Events конвейера меняются динамически, данные мониторинга изменяются соответственно. Когда конвейер запускается или останавливается, или данные Events стабильны, данные мониторинга остаются неизменными.
Подробную информацию о поддерживаемых метриках см. в Logstash Pipeline Monitoring Metrics. О том, как настроить сигналы тревоги, см. в Using Cloud Eye to Monitor Clusters.
Над списком конвейеров нажмите Run Logs, чтобы проверить журналы процесса Logstash, которые можно использовать для устранения ошибок парсинга данных.
Над списком конвейеров нажмите View, чтобы проверить записи о запуске и остановке конвейеров. Это помогает отслеживать исторические операции и облегчает устранение неполадок.