Облачная платформаAdvanced

Планирование спецификаций узлов и ёмкости

Язык статьи: Русский
Показать оригинал
Страница переведена автоматически и может содержать неточности. Рекомендуем сверяться с английской версией.

В этом разделе представлены рекомендации по выбору спецификаций узлов и настройке типа хранилища узла, ёмкости хранилища и количества узлов для кластера Logstash, что поможет вам правильно спланировать ёмкость вашего кластера.

Рекомендации по конфигурации узлов

Table 1 Конфигурация узла

Параметр

Рекомендации по конфигурации

Спецификации узлов

В списке flavor узлов vCPUs | Memory указывает количество vCPU и объём памяти, доступных для каждого flavor, а Recommended Storage показывает поддерживаемый диапазон ёмкости хранилища. Мы рекомендуем выбирать спецификации узлов на основе ключевых метрик вашего кластера Logstash, таких как нагрузка CPU, требования к памяти и характеристики I/O.

Logstash Node Specifications описывает сценарии применения и ключевые особенности различных спецификаций узлов. Это поможет вам правильно спланировать ваш кластер.

Для получения дополнительной информации о различных спецификациях узлов см. раздел "ECS Types" в Elastic Cloud Server User Guide.

Тип и ёмкость хранилища узла

Выберите подходящий тип хранилища и ёмкость для узлов кластера.

  • Выберите тип диска EVS:
    • Если вы выбираете persisted (дисковое хранилище) для буферизации событий, рекомендуется использовать диски EVS с более высокой производительностью, такие как Ultra-high I/O и Extreme SSD.
    • Если вы используете очереди в памяти, выберите EVS‑диски с высоким I/O.
    ПРИМЕЧАНИЕ:

    По умолчанию Logstash использует ограниченные очереди в памяти для буферизации событий. Соответствующий параметр конфигурации — queue.type, который доступен при настройке конвейеров в файле конфигурации.

    Подробнее о производительности дисков EVS см. раздел "Disk Types and Performance" в Elastic Volume Service User Guide.
  • Ёмкость хранилища узла фиксирована и составляет 40 GB.

Узлы

Количество узлов в кластере Logstash варьируется от 1 до 100.

Узлы Logstash используются для приема, парсинга, обработки и передачи данных. Количество узлов определяет скорость миграции данных. Выберите количество узлов Logstash в соответствии с требованиями сервиса.

Когда кластер Logstash имеет два или более узлов, все узлы используют одни и те же файлы конфигурации. Этот режим работает, когда Logstash является потребителем данных Kafka.

Спецификации узлов Logstash

Узлы Logstash поддерживают только диски EVS. Диски EVS — это сервис виртуального блочного хранилища, независимый от ECS. Они обеспечивают высокую надёжность и быструю эластичность, что делает их идеальными для рабочих нагрузок, требующих высокой надёжности данных и масштабируемой ёмкости хранилища.

Таблица ниже описывает сценарии применения и основные функции различных спецификаций узлов. Она поможет вам правильно спланировать ваш кластер.

Table 2 Сравнение различных спецификаций узлов

CPU Architecture

Узел Флейвор

Описание

x86

Вычислительно-интенсивный

Ключевые преимущества

  • Высокопроизводительный CPU: разработан для высокой вычислительной нагрузки, идеален для задач, требующих интенсивного использования CPU.
  • Оптимизированный сетевой I/O: поддерживает высокую пропускную способность как во входящем, так и в исходящем направлениях (например, сетевые плагины).

Сценарии применения

  • Плагины, требующие интенсивного использования CPU: плагины, включающие тяжелые вычисления на CPU, такие как grok (парсинг регулярных выражений) и dissect (парсинг структурированных журналов).
  • Гибридные задачи нагрузки: задачи, включающие как тяжелые вычисления на CPU, так и нагрузки сетевого I/O, например, поглощение журналов в реальном времени и очистка данных.
  • Крупномасштабная обработка данных на высокой скорости, например, агрегация журналов и обработка потоков событий.

Меры предосторожности

  • Установите количество потоков задач (pipeline.workers) равным количеству vCPU. Это оптимизирует использование CPU и предотвращает конкуренцию за ресурсы.
  • Обратите внимание на предупреждения о узких местах производительности I/O. Если нагрузка сетевых плагинов (например, beats и http) высока, убедитесь, что доступна достаточная пропускная способность сети.

General computing-plus-AC

Ключевые преимущества

  • Выделенный CPU: отсутствие конкуренции за ресурсы между различными instances, стабильная производительность при относительно низкой стоимости, идеален для задач высокого приоритета.
  • Низкая задержка: гарантированная эффективность для CPU-интенсивных плагинов.

Сценарии применения

  • Задачи с высокой нагрузкой на CPU: парсинг журналов в реальном времени и сложное извлечение полей (grok и ruby)
  • Критически важные сервисные процессы: требуется надёжная производительность (например, обработка журналов финансовых транзакций)
  • Многопоточная обработка: задачи с высокой конкурентностью

Меры предосторожности

Если задачи в основном связаны с высоким сетевым I/O, рекомендуется использовать диски с ультра‑высоким I/O.

Общие вычисления

Основные преимущества

Сбалансированная конфигурация: спецификации по умолчанию, подходят для задач обработки данных среднего масштаба.

Сценарии применения

  • Обработка журналов среднего масштаба, например, сбор корпоративных журналов и агрегация данных мониторинга.
  • Задачи с низкой нагрузкой на CPU: в основном сетевой I/O (например, плагины file и kafka).
  • Стандартный Деплой: удовлетворяет потребности общих сценариев использования, без необходимости специальной настройки.

Оценка использования памяти

Оцените необходимый объём памяти, используя эту формулу: Average size of each piece of data processed by Logstash x (pipeline.workers x pipeline.batch.size)

Пример: если средний размер данных составляет 1 KB, pipeline.workers = 4, и pipeline.batch.size = 1000, размер памяти ~4 MB.

Оптимизировано под память

Ключевые преимущества

  • Большой объём памяти: подходит для задач, требующих большого объёма памяти, снижает нагрузку на disk I/O.
  • Оптимизированные очереди памяти: данные кэшируются в очередях памяти, обеспечивая более эффективную обработку данных.

Сценарии применения

  • Масштабная агрегация журналов: платформа аналитики журналов, система управления информацией и событиями безопасности (SIEM) и т.д.
  • Сложное преобразование данных: задачи, включающие временное хранение больших объёмов данных (например, aggregate plugin).

Меры предосторожности

  • Отслеживайте использование памяти в реальном времени, чтобы избежать out of memory (OOM).
  • Эта стоимость высока. Используйте этот flavor для задач, требующих большого объёма памяти, с высоким приоритетом.

Родительская тема: Cluster Planning
Предыдущая статья
Планирование зон доступности кластера и HA
Следующая статья
Создание Кластера
Поддержка Юридические документы Политика конфиденциальности
© 2026 Cloud.ru