При использовании Logstash для масштабной миграции данных или ingest‑логов может потребоваться приостановить или завершить pipelines, чтобы выполнить корректировку политики или оптимизацию конфигурации, либо после завершения задачи. Однако некорректное завершение pipelines может привести к потере контрольных точек ingest‑процесса или к несоответствию данных между источником и назначением. CSS предоставляет два метода остановки pipelines Logstash: Stop All и Hot Stop. Каждый метод предназначен для определённых сценариев задач. Выбирая подходящий метод, вы можете обеспечить безопасную остановку задач миграции данных и ingest‑логов.
Вариант остановки | Stop All | Hot Stop |
|---|---|---|
Состояние pipeline | Состояние pipeline меняется с Running на Stopped. | Pipeline удаляется. |
Как это работает | Глобальный сигнал отправляется процессу Logstash, чтобы блокировать логику выполнения pipeline без отмены регистрации метаданных конфигурации. | Для выбранного pipeline выполняется динамическая операция выгрузки, чтобы отсоединить файл конфигурации. Процесс Logstash более не будет загружать этот pipeline. |
Целостность данных | Остановка pipeline может вызвать кратковременную задержку передаваемых данных или инициировать сброс смещения. Убедитесь, что исходные данные сохраняют прослеживаемость, например, с помощью инкрементных колонок отслеживания изменений в исходной базе данных. Кроме того, это немедленно прервет миграцию данных. Будьте осторожны. | |
Когда использовать | Используйте эту опцию, когда вы готовите ваш cluster к комплексному обслуживанию или когда необходимо освободить ресурсы в пиковые часы. С этой опцией вы можете приостановить pipelines, сохранив их конфигурацию, чтобы позже выполнить восстановление одним щелчком. | Используйте эту опцию, когда необходимо навсегда удалить pipeline, который больше не нужен. Это освобождает ресурсы без прерывания работы других pipelines. |
В configuration center кластера Logstash находятся Running pipeline tasks.
Приостановите все запущенные pipelines в кластере одним щелчком.
Удалить конкретный конвейер без прерывания других конвейеров.