При использовании Logstash для масштабной миграции данных или ingest‑логов может потребоваться приостановить или завершить конвейеры, чтобы выполнить настройку политик или оптимизацию конфигурации, либо после завершения задачи. Однако некорректное завершение конвейеров может привести к потере ingestion checkpoint или к несоответствию данных между источником и назначением. CSS предоставляет два метода остановки конвейеров Logstash: Stop All и Hot Stop. Каждый метод предназначен для определённых сценариев задач. Выбирая подходящий метод, вы можете обеспечить безопасную остановку задач миграции данных и ingest‑логов.
Опция остановки | Stop All | Hot Stop |
|---|---|---|
Состояние конвейера | Состояние конвейера меняется с Running на Stopped. | Конвейер удаляется. |
Как это работает | Глобальный сигнал отправляется процессу Logstash, чтобы блокировать логику выполнения конвейера без отмены регистрации метаданных конфигурации. | Для выбранного конвейера выполняется динамическая операция выгрузки, чтобы отсоединить файл конфигурации. Процесс Logstash больше не будет загружать этот конвейер. |
Целостность данных | Остановка конвейера может вызвать кратковременную задержку передаваемых данных или вызвать сброс смещения. Убедитесь, что исходные данные сохраняют прослеживаемость, например, с помощью инкрементных колонок отслеживания изменений в исходной базе данных. Кроме того, это немедленно прервет миграцию данных. Будьте осторожны. | |
Когда использовать | Используйте эту опцию, когда вы готовите ваш кластер к комплексному обслуживанию или когда необходимо освободить ресурсы в пиковые часы. С этой опцией вы можете приостановить конвейеры, сохранив их конфигурацию, чтобы позже выполнить восстановление одним щелчком. | Используйте эту опцию, когда необходимо навсегда удалить конвейер, который больше не нужен. Это освобождает ресурсы без прерывания работы других конвейеров. |
В центре конфигурации кластера Logstash имеется Running задач конвейера.
Приостановите все запущенные конвейеры в кластере одним щелчком.
Удалить конкретный конвейер без прерывания других конвейеров.