В сценариях крупномасштабной обработки данных и реального времени поглощения журналов разработчикам часто требуется извлекать данные из различных источников, таких как Kafka и MySQL, в Elasticsearch или OpenSearch. Ключевые проблемы в таких задачах включают сетевую связность, прерывание задач и сложность управления несколькими конвейерами. CSS предоставляет веб‑центр конфигурации для кластеров Logstash, где вы можете проверить сетевую связность между Logstash и источником данных, а также назначением одним щелчком, а также запустить или hot‑start конвейеры. Чтобы обеспечить высокую доступность и стабильность в сложных сценариях, CSS также развертывает механизм Keepalive, поддерживаемый процессом‑демоном.
Option | Start | Hot Start |
|---|---|---|
Как это работает | Когда в кластере нет запущенных конвейеров, система инициализирует среду выполнения и загружает конфигурацию. | Когда в кластере уже есть запущенные конвейеры, новый конвейер динамически загружается без перезапуска всего процесса Logstash, обеспечивая отсутствие прерываний сервиса. |
Пакетная обработка | Можно запустить до 50 файлов конфигурации одновременно. | Только один файл конфигурации может быть запущен за раз. |
Keepalive | Вы можете выбрать включить или отключить Keepalive. | Параметр Keepalive наследуется от существующих конвейеров в кластере. Его нельзя изменить. |
Когда использовать | В кластере нет Running конвейеров. | В кластере уже есть Running конвейеры. Вы используете эту опцию, чтобы добавить новые конвейеры без прерывания существующих конвейеров. |
Ограничение | N/A |
|
В списке конвейеров кластера Logstash может быть до 50 Running файлов конфигурации.
Перед запуском задачи миграции проверьте соединение между Logstash и источником данных и назначением. Это помогает предотвратить сбои задачи, вызванные проблемами соединения.
Как работает тест соединения:
Требования к тесту подключения
В зависимости от расположения кластера Logstash, источника данных и назначения, необходимо соблюсти следующие условия:
Одновременно можно протестировать не более 10 IP‑адресов. Вы можете нажать Add, чтобы добавить дополнительные IP‑адреса, и нажать Test внизу для проверки подключения к нескольким IP‑адресам одновременно.
Если Available возвращается, сеть подключена. Если Unavailable возвращается, устраните проблему, следуя What Should I Do If the Result of a Logstash Connectivity Test Is Unavailable?.
Запустите конвейер Logstash для миграции данных от источника к назначению.
Выберите Keepalive для длительных потоков данных в производственных средах. Если сервис Logstash останавливается из‑за непредвиденной ошибки, система автоматически попытается перезапустить его.
Снимите выбор Keepalive для одноразовых задач офлайн‑миграции данных. Обратите внимание, что если источник не содержит данных, включение Keepalive может привести к повторному перезапуску конвейера, что может вызвать ошибки.
После запуска конвейеров миграции данных вы можете мониторить их следующими способами:
В списке pipeline найдите целевой pipeline и нажмите Metric Monitoring в столбце Operation, чтобы перейти в консоль Cloud Eye, где вы можете проверить метрики для оценки его статуса и производительности.
Когда данные Events конвейера меняются динамически, данные мониторинга меняются соответственно. Когда конвейер запускается или останавливается, или данные Events стабильны, данные мониторинга остаются неизменными.
Подробную информацию о поддерживаемых метриках см. в Logstash Pipeline Monitoring Metrics. О том, как настроить сигналы тревоги, см. в Using Cloud Eye to Monitor Clusters.
Над списком pipeline нажмите Run Logs, чтобы проверить журналы процесса Logstash, которые можно использовать для устранения ошибок парсинга данных.
Над списком pipeline нажмите View, чтобы проверить записи о запуске и остановке конвейеров. Это помогает отслеживать исторические операции и облегчает устранение неполадок.