Облачная платформаAdvanced

Планирование спецификаций узла и ёмкости

Язык статьи: Русский
Показать оригинал
Страница переведена автоматически и может содержать неточности. Рекомендуем сверяться с английской версией.

В этой теме представлены рекомендации по выбору спецификаций узла и настройке типа хранения узла, ёмкости хранения и количества узлов для кластера Logstash, помогая вам правильно планировать ёмкость вашего кластера.

Рекомендации по конфигурации узла

Таблица 1 Конфигурация узла

Параметр

Рекомендации по конфигурации

Спецификации узла

В списке флейворов узла, vCPUs | Memory указывают количество vCPUs и ёмкость памяти, доступные для каждого флейвора, и Рекомендуемое хранилище указывает диапазон поддерживаемой ёмкости хранилища. Мы рекомендуем выбирать спецификации узла на основе ключевых метрик вашего кластера Logstash, таких как нагрузка CPU, требования к памяти и характеристики I/O.

Спецификации узла Logstash описывает сценарии применения и основные функции различных спецификаций узлов. Это может помочь вам правильно спланировать ваш кластер.

Для получения дополнительной информации о различных спецификациях узлов см. раздел "ECS Types" в Elastic Cloud Server User Guide.

Тип и ёмкость хранилища узла

Выберите подходящий тип хранилища и ёмкость для узлов кластера.

  • Выберите тип диска EVS:
    • Если вы выберете постоянный (хранилище диска) для буферизации событий, рекомендуется выбрать диски EVS с лучшей производительностью, например Ultra-high I/O и Extreme SSD.
    • Если вы используете очереди в памяти, выберите EVS диски с высоким I/O.
    NOTE:

    По умолчанию Logstash использует ограниченные очереди в памяти для буферизации событий. Соответствующий параметр конфигурации — queue.type, которая доступна при настройке конвейеров в файле конфигурации.

    Дополнительную информацию о производительности дисков EVS см. в разделе "Disk Types and Performance" в Elastic Volume Service Руководство пользователя.

  • Емкость хранилища узла фиксирована на уровне 40 ГБ.

Узлы

Количество узлов в кластере Logstash варьируется от 1 до 100.

Узлы Logstash используются для получения, парсинга, обработки и передачи данных. Количество узлов определяет скорость миграции данных. Выберите количество узлов Logstash в зависимости от требований к сервису.

Когда в кластере Logstash два и более узла, все узлы используют одни и те же файлы конфигурации. Этот режим работает, когда Logstash является потребителем данных Kafka.

Технические характеристики узла Logstash

Узлы Logstash поддерживают только диски EVS. Диски EVS — это сервис виртуального блочного хранилища, независимый от ECSs. Они обеспечивают высокую надёжность и быструю эластичность, делая их идеальными для нагрузок, требующих высокой надёжности данных и высокомасштабируемой ёмкости хранилища.

В таблице ниже описаны сценарии применения и основные возможности различных спецификаций узлов. Это поможет вам правильно спланировать ваш кластер.

Таблица 2 Сравнение различных спецификаций узлов

Архитектура CPU

Флейвор узла

Описание

x86

Вычислительно-интенсивный

Ключевые преимущества

  • Высокопроизводительный CPU: разработан для высокой вычислительной нагрузки, идеален для задач с высокой нагрузкой на CPU.
  • Оптимизированный сетевой I/O: поддерживает высокую пропускную способность в обоих направлениях (например, сетевые плагины).

Сценарии применения

  • CPU-интенсивные плагины: плагины, которые включают тяжёлые вычисления CPU, такие как grok (парсинг регулярных выражений) и dissect (структурированный парсинг логов).
  • Гибридные нагрузочные задачи: задачи, которые включают как тяжёлые вычисления CPU, так и сетевые нагрузки I/O, такие как поглощение логов в реальном времени и очистка данных.
  • Крупномасштабная обработка данных с высокой скоростью, такая как агрегация логов и обработка потоков событий.

Меры предосторожности

  • Установите количество потоков задач (pipeline.workers) равным количеству vCPU. Это оптимизирует использование CPU, одновременно избегая конкуренции ресурсов.
  • Обратите внимание на предупреждения о узких местах производительности I/O. Если нагрузка сетевых плагинов (например beats и http) сильна, убедитесь, что пропускная способность сети достаточна.

General computing-plus - AC

Основные преимущества

  • Выделенный CPU: отсутствие конкуренции за ресурсы между разными экземплярами, стабильная производительность при относительно низкой стоимости, идеальна для задач с высоким приоритетом.
  • Низкая задержка: гарантированная эффективность для CPU-интенсивных плагинов.

Сценарии применения

  • Задачи с высокой нагрузкой на CPU: парсинг журналов в реальном времени и сложное извлечение полей (grok и ruby)
  • Критически важные сервисные процессы: требуется надёжная производительность (например обработка журналов финансовых транзакций)
  • Многопоточная обработка: задачи с высокой конкурентностью

Меры предосторожности

Если задачи в основном связаны с высоким сетевым I/O, рекомендуется использовать ультра‑высокопроизводительные диски I/O.

Общие вычисления

Основные преимущества

Сбалансированная конфигурация: спецификации по умолчанию, подходит для задач обработки данных среднего масштаба.

Сценарии применения

  • Обработка журналов среднего масштаба, например интеграция корпоративных журналов и агрегирование данных мониторинга.
  • Задачи с низкой нагрузкой на CPU: в основном сетевое I/O (например плагины для файлов и kafka).
  • Стандартное развертывание: удовлетворяет потребности общих сценариев использования, без необходимости специальной настройки.

Оценка использования памяти

Оцените необходимый объём памяти, используя эту формулу: Средний размер каждого фрагмента данных, обрабатываемых Logstash x (pipeline.workers x pipeline.batch.size)

Пример: Если средний размер данных составляет 1 KB, pipeline.workers = 4, а pipeline.batch.size = 1000, размер памяти примерно ~4 MB.

Оптимизировано под память

Ключевые преимущества

  • Большой объём памяти: подходит для задач с высоким потреблением памяти, снижает нагрузку на дисковый I/O.
  • Оптимизированные очереди памяти: данные кэшируются в очередях памяти, обработка данных становится более эффективной.

Сценарии применения

  • Масштабная агрегация логов: платформа аналитики логов, система управления безопасностью информации и событиями (SIEM) и т.д.
  • Сложная трансформация данных: задачи, включающие временное хранение большого количества данных (например, aggregate Плагин).

Меры предосторожности

  • Отслеживайте использование памяти в реальном времени, чтобы избежать out of memory (OOM).
  • Эта стоимость высока. Используйте этот Флейвор для задач с высоким потреблением памяти, имеющих высокие приоритеты.

Предыдущая статья
Планирование зон доступности кластера и высокой доступности
Следующая статья
Создание кластера Logstash
Поддержка Юридические документы Политика конфиденциальности
© 2026 Cloud.ru