В этом разделе представлена сквозная процедура использования CSS Logstash для построения конвейеров ingest и обработки данных для платформ корпоративного уровня поиска и аналитики, охватывающая ключевые шаги от настройки среды до развертывания приложения.
Рисунок 1 Процедура использования CSS Logstash
Этап | Ключевой шаг | Описание | Подробности |
|---|---|---|---|
Планирование и развертывание | Планирование кластера | Исходя из предполагаемых сценариев использования, заранее планируйте спецификации узлов и развертывание в нескольких AZ, чтобы минимизировать необходимость изменений после создания кластера. | |
Создание кластера | Создайте кластер Logstash в соответствии с вашими планами и требованиями к сервису. | ||
Сеть и безопасность | Настройки сети и безопасности | Если кластер Logstash и источник данных находятся в разных VPC или могут взаимодействовать только через публичную сеть, необходимо настроить маршруты или включить доступ к публичной сети для кластера Logstash, чтобы соединить их. | |
Задачи миграции | Настройка задач миграции | Через центр конфигурации кластера Logstash создайте и запустите файл конфигурации Logstash для миграции данных между различными местоположениями. | |
Мониторинг и наблюдаемость | Управление мониторингом | Cloud Eye обеспечивает эффективную визуализацию и мониторинг ключевых метрик кластера, позволяя команде O&M отслеживать состояние кластера и узкие места производительности в режиме реального времени. Это помогает обеспечить высокую доступность сервиса. | |
Log management | Команда O&M может анализировать журналы выполнения и записи аудита операций, чтобы быстро выявлять проблемы, анализировать производительность и обеспечивать безопасность и соответствие требованиям. Журналы могут быть сохранены в OBS для длительного хранения, удовлетворяя разнообразные корпоративные требования к эксплуатации и аудиту. | ||
Operations and management | Managing cluster changes | Вы можете легко управлять изменениями кластера, такими как cluster scaling и изменение спецификаций узлов, обеспечивая непрерывность сервиса. | |
Cluster management | Ресурсы кластера могут быть изолированы по enterprise project и помечены тегами для уточнённого управления. Вы можете легко перезапустить и удалить кластеры, обеспечивая эффективное управление кластером. |