В этом разделе представлена сквозная процедура использования CSS Logstash для построения конвейеров ingest и обработки данных в платформах корпоративного уровня поиска и аналитики, охватывающая ключевые шаги от настройки среды до внедрения приложения.
Figure 1 Процедура использования CSS Logstash
Этап | Ключевой шаг | Описание | Подробности |
|---|---|---|---|
Планирование и развертывание | Планирование кластера | Исходя из предполагаемых сценариев использования, заранее планируйте спецификации узлов и развертывание в нескольких AZ, чтобы минимизировать необходимость изменений после создания кластера. | |
Создание кластера | Создайте кластер Logstash в соответствии с вашими планами и требованиями к сервису. | ||
Сеть и безопасность | Настройки сети и безопасности | Если кластер Logstash и источник данных находятся в разных VPC или могут взаимодействовать только через публичную сеть, необходимо настроить маршруты или включить доступ через публичную сеть для кластера Logstash, чтобы соединить их. | |
Задачи миграции | Настройка задач миграции | Через центр конфигурации кластера Logstash создайте и запустите файл конфигурации Logstash для миграции данных между различными местоположениями. | |
Мониторинг и наблюдаемость | Управление мониторингом | Cloud Eye обеспечивает эффективную визуализацию и мониторинг ключевых метрик кластера, позволяя команде O&M отслеживать состояние кластера и узкие места производительности в режиме реального времени. Это помогает обеспечить высокую доступность сервиса. | |
Log management | Команда O&M может анализировать журналы выполнения и записи аудита операций, чтобы быстро локализовать проблемы, проанализировать производительность и обеспечить безопасность и соответствие требованиям. Логи могут быть сохранены в OBS для длительного хранения, что соответствует разнообразным требованиям enterprise‑grade к эксплуатации и аудиту. | ||
Operations and management | Managing cluster changes | Вы можете легко управлять изменениями cluster, например cluster scaling и изменением node specifications, обеспечивая непрерывность сервиса. | |
Cluster management | Ресурсы cluster могут быть изолированы по enterprise project и помечены тегами для детального управления. Вы можете легко перезапустить и удалить clusters, обеспечивая эффективное управление cluster. |