Создание файла конфигурации

Файл конфигурации Logstash определяет конвейер, состоящий из трёх этапов:

1. Input: Данные поступают из одного или нескольких источников.
2. Filter: Данные парсятся, очищаются, преобразуются и обогащаются. Обычно это самый ресурсоёмкий по CPU этап.
3. Output: Данные отправляются в назначение, например, Elasticsearch.

Для получения дополнительной информации о них см. официальную документацию Logstash Plugins.

• Для кластера Logstash можно создать не более 50 файлов конфигурации.
• Не более пяти файлов конфигурации могут находиться в состоянии проверки одновременно.
• Размер отдельного файла конфигурации не может превышать 100 КБ.

• Вы получили информацию о подключении как к источнику данных (например, Elasticsearch, MySQL и Kafka), так и к назначению (например, Elasticsearch), включая IP‑адреса, номера портов, учётные записи и пароли.
• VPC кластера Logstash и правила группы безопасности позволяют связь как с источником данных, так и с назначением.

1. Перейдите на страницу Configuration Center.
   1. Войдите в консоль управления CSS.
   2. В левой панели навигации выберите Clusters > Logstash.
   3. В списке кластеров нажмите имя целевого кластера. Отобразится страница информации о кластере.
   4. Нажмите вкладку Configuration Center.
2. На странице Configuration Center нажмите Create в правом верхнем углу. Отобразится страница Create Configuration File.
3. Отредактируйте файл конфигурации, чтобы определить процесс сбора и обработки данных.

   Table 1 Параметры создания файла конфигурации

   Параметр	Описание
   Имя	Имя пользовательского файла конфигурации. Он может содержать только буквы, цифры, дефисы (-) и подчёркивания (_), и должен начинаться с буквы. Минимальная длина — 4 символа. Рекомендуется включать в имя файла конфигурации описание назначения данных для упрощения управления.
   Содержимое файла конфигурации	Определите логику ввода, фильтрации и вывода. Чтобы использовать шаблон файла конфигурации, разверните System Templates или Custom Templates, выберите шаблон по его описанию и нажмите Apply в столбце Operation, чтобы скопировать содержимое шаблона. Шаблоны системы — предустановленные шаблоны файлов конфигурации CSS. Они охватывают различные типы источников ввода, такие как JDBC, Redis, DIS и Beats. Для получения подробной информации см. Configuration File Templates. Custom templates — шаблоны, добавленные пользователями. Размер каждого файла конфигурации не может превышать 100 КБ.
   Скрытое содержимое	Укажите строки, которые нужно скрыть в файле конфигурации, например пароли и ключи доступа. Нажмите Enter после каждой строки. Эти строки будут отображаться как *** в файле конфигурации. Можно настроить не более 20 строк для скрытия, каждая из которых может иметь максимальную длину 512 байт.
   Описание	Добавьте описание файла конфигурации для удобной идентификации. Значение может содержать от 0 до 128 символов.

4. Нажмите Next, чтобы настроить параметры конвейера.
5. Настройте параметры выполнения конвейера в зависимости от объёма данных и требований к надёжности.

   Table 2 Параметры конфигурации конвейера

   Параметр	Категория	Значение по умолчанию	Описание
   pipeline.workers	Контроль параллелизма	Количество ядер CPU	Количество рабочих потоков, которые параллельно выполняют стадии Filters и Outputs конвейера. Для конвейера с интенсивным I/O (например, простая переадресация) установите этот параметр равным количеству ядер CPU. Для конвейера с интенсивным использованием CPU (например, сложный разбор регулярных выражений) установите этот параметр равным количеству ядер CPU или немного меньшим значением. Не превышайте количество ядер CPU на одном узле. В противном случае увеличенные затраты на переключение контекста ухудшат производительность.
   pipeline.batch.size	Пропускная способность	125	Максимальное количество событий, которое рабочий поток собирает из входов перед попыткой выполнить его filters и outputs. При обработке большого количества небольших документов увеличение этого значения (например, с 500 до 3000) может значительно повысить пропускную способность. Однако из‑за ограниченной памяти кучи JVM слишком высокое значение может привести к ошибкам out of memory (OOM).
   pipeline.batch.delay	Управление задержкой	50	Максимальное время в миллисекундах, которое worker pipeline ожидает новое событие, пока текущая партия ещё не заполнена. Единица: ms Уменьшите значение этого параметра, когда в приоритете производительность в реальном времени.
   queue.type	Надёжность данных	memory	Настраивает внутреннюю очередь для буферизации событий. memory: Использует традиционную очередь на основе памяти, обеспечивая высокую производительность, но с риском потери данных в случае сбоев процесса. persisted: Использует дисковую постоянную очередь, которая предотвращает потерю данных за счёт постоянного хранилища и поддерживает возобновляемую передачу данных. При выборе этого режима внимательно следите за использованием хранилища, чтобы избежать его исчерпания.
   queue.checkpoint.writes	Чекпоинт	1024 (recommended)	Максимальное количество записанных событий до принудительного чекпоинта. Этот параметр необходимо установить только когда queue.type установлен в persisted.
   queue.max_bytes	Очередь на диске	1024 (рекомендовано)	Общая емкость постоянной очереди. Этот параметр необходимо установить только когда queue.type установлен в persisted. Обеспечьте достаточное дисковое пространство. Logstash перестанет принимать новые данные, когда диск будет заполнен. Единица: MB

6. После завершения настройки нажмите Create.
7. Вернитесь к списку файлов конфигурации. Если Status нового файла конфигурации изменится на Available, он будет создан успешно.

Вы можете редактировать существующие файлы конфигурации, установить файл конфигурации в качестве пользовательского шаблона и удалять файлы конфигурации.