Планирование спецификаций узлов и ёмкости

x86

Вычислительно-интенсивный

Ключевые преимущества

• Высокопроизводительный CPU: разработан для высокой вычислительной нагрузки, идеален для задач с интенсивным использованием CPU.
• Оптимизированный сетевой I/O: поддерживает высокую пропускную способность как во входящем, так и в исходящем направлениях (например, сетевые плагины).

Сценарии применения

• Плагины с интенсивным использованием CPU: плагины, включающие тяжёлые вычисления на CPU, такие как grok (парсинг регулярных выражений) и dissect (парсинг структурированных логов).
• Задачи с гибридной нагрузкой: задачи, включающие как тяжёлые вычисления на CPU, так и нагрузки сетевого I/O, например, поглощение логов в реальном времени и очистка данных.
• Крупномасштабная обработка данных на высокой скорости, например, агрегация логов и обработка потоков событий.

Меры предосторожности

• Установите количество потоков задач (pipeline.workers) равным количеству vCPU. Это оптимизирует использование CPU и предотвращает конкуренцию за ресурсы.
• Обратите внимание на предупреждения о узких местах производительности I/O. Если нагрузка сетевых плагинов (например, beats и http) высока, убедитесь, что доступна достаточная пропускная способность сети.

Общие вычисления‑plus‑AC

Ключевые преимущества

• Выделенный CPU: отсутствие конкуренции за ресурсы между различными инстансами, стабильная производительность при относительно низкой стоимости, идеально подходит для задач с высоким приоритетом.
• Низкая задержка: гарантированная эффективность для плагинов с высокой нагрузкой на CPU.

Сценарии применения

• Задачи с высокой нагрузкой на CPU: парсинг журналов в реальном времени и сложное извлечение полей (grok и ruby)
• Критически важные сервисные процессы: требуется надёжная производительность (например, обработка журналов финансовых транзакций)
• Многопоточная обработка: задачи с высокой конкуренцией

Меры предосторожности

Если задачи в основном связаны с высоким сетевым вводом‑выводом, рекомендуется использовать диски с ультра‑высоким вводом‑выводом.

Общие вычисления

Ключевые преимущества

Сбалансированная конфигурация: спецификации по умолчанию, подходящие для задач обработки данных среднего масштаба.

Сценарии применения

• Обработка журналов среднего масштаба, например захват журналов предприятия и агрегация данных мониторинга.
• Задачи с низкой нагрузкой на CPU: в основном сетевой ввод‑вывод (например, плагины file и kafka).
• Стандартный деплой: соответствует потребностям общих сценариев использования, без необходимости специальной настройки.

Оценка использования памяти

Оцените необходимый объём памяти, используя эту формулу: Средний размер каждого обрабатываемого Logstash фрагмента данных x (pipeline.workers x pipeline.batch.size)

Пример: если средний размер данных составляет 1 KB, pipeline.workers = 4, и pipeline.batch.size = 1000, объём памяти ~4 MB.

Оптимизировано под память

Основные преимущества

• Большой объём памяти: подходит для задач с высоким потреблением памяти, снижает нагрузку на ввод‑вывод диска.
• Оптимизированные очереди памяти: данные кэшируются в очередях памяти, повышается эффективность обработки данных.

Сценарии применения

• Масштабная агрегация журналов: платформа аналитики журналов, система управления информацией и событиями безопасности (SIEM) и т.д.
• Сложное преобразование данных: задачи, включающие временное хранение больших объёмов данных (например, aggregate plugin).

Меры предосторожности

• Отслеживайте использование памяти в реальном времени, чтобы избежать нехватки памяти (OOM).
• Эта стоимость высока. Используйте этот флейвор для задач с высоким потреблением памяти, имеющих высокий приоритет.