Создание файла конфигурации

Logstash configuration file определяет конвейер, состоящий из трёх этапов:

1. Input: Данные поступают из одного или нескольких источников.
2. Filter: Данные парсятся, очищаются, преобразуются и обогащаются. Обычно это самый ресурсоёмкий по CPU этап.
3. Output: Данные отправляются в назначение, например Elasticsearch.

Для получения дополнительной информации см. официальную документацию Logstash Plugins.

• Для кластера Logstash можно создать не более 50 configuration files.
• Не более пяти configuration files могут находиться в состоянии проверки одновременно.
• Размер отдельного configuration file не может превышать 100 KB.

• Вы получили информацию о подключении как к источнику данных (например Elasticsearch, MySQL и Kafka), так и к назначению (например Elasticsearch), включая IP‑адреса, номера портов, учётные записи и пароли.
• VPC и правила security group кластера Logstash позволяют взаимодействовать как с источником данных, так и с назначением.

1. Перейдите на страницу Configuration Center.
   1. Войдите в консоль управления CSS.
   2. В панели навигации слева выберите Clusters > Logstash.
   3. В списке кластеров нажмите имя целевого кластера. Отобразится страница информации о кластере.
   4. Нажмите вкладку Configuration Center.
2. На странице Configuration Center нажмите Create в правом верхнем углу. Отобразится страница Create Configuration File.
3. Отредактируйте файл конфигурации, чтобы определить процесс сбора и обработки данных.

   Table 1 Параметры создания файла конфигурации

   Parameter	Description
   Name	Имя пользовательского файла конфигурации. Он может содержать только буквы, цифры, дефисы (-) и подчёркивания (_), и должен начинаться с буквы. Минимальная длина — 4 символа. Рекомендуется включать описание назначения данных в имя файла конфигурации для упрощения управления.
   Содержимое файла конфигурации	Определите логику ввода, фильтрации и вывода. Чтобы использовать шаблон файла конфигурации, разверните System Templates или Custom Templates, выберите шаблон по его описанию и нажмите Apply в столбце Operation, чтобы скопировать содержимое шаблона. Системные шаблоны — это предустановленные шаблоны файлов конфигурации CSS. Они охватывают различные типы источников ввода, такие как JDBC, Redis, DIS и Beats. Для получения подробной информации см. Configuration File Templates. Пользовательские шаблоны — это шаблоны, добавленные пользователями. Размер каждого файла конфигурации не может превышать 100 КБ.
   Скрытое содержимое	Укажите строки, которые нужно скрыть в файле конфигурации, например пароли и ключи доступа. Нажмите Enter после каждой строки. Эти строки будут отображаться как *** в файле конфигурации. Можно настроить максимум 20 строк для скрытия, каждая из которых может иметь максимальную длину 512 байт.
   Описание	Добавьте описание файла конфигурации для удобной идентификации. Значение может содержать от 0 до 128 символов.

4. Нажмите Next, чтобы настроить параметры конвейера.
5. Настройте параметры выполнения конвейера в зависимости от объёма данных и требований к надёжности.

   Table 2 Параметры конфигурации конвейера

   Параметр	Категория	Значение по умолчанию	Описание
   pipeline.workers	Контроль параллелизма	Количество ядер CPU	Количество рабочих потоков, которые выполняют стадии Filters и Outputs конвейера параллельно. Для I/O-интенсивного конвейера (например, простая переадресация) установите этот параметр равным количеству ядер CPU. Для CPU-интенсивного конвейера (например, сложный разбор регулярных выражений) установите этот параметр равным количеству ядер CPU или немного меньшим значением. Не превышайте количество ядер CPU на одном узле. В противном случае увеличенная нагрузка на переключение контекста ухудшит производительность.
   pipeline.batch.size	Пропускная способность	125	Максимальное количество событий, которое рабочий поток собирает из входов перед попыткой выполнить его filters и outputs. При обработке большого количества небольших документов увеличение этого значения (например, с 500 до 3000) может значительно повысить пропускную способность. Однако из‑за ограниченной памяти кучи JVM установка слишком большого значения может привести к ошибкам out of memory (OOM).
   pipeline.batch.delay	Управление задержкой	50	Максимальное время в миллисекундах, которое рабочий процесс pipeline ждёт новое событие, пока текущая партия ещё не заполнена. Единица: ms Уменьшите значение этого параметра, когда в приоритете производительность в реальном времени.
   queue.type	Надёжность данных	memory	Настраивает внутреннюю очередь для буферизации событий. memory: Использует традиционную очередь, основанную на памяти, которая обеспечивает высокую производительность, но рискует потерей данных в случае сбоев процесса. persisted: Использует дисковую постоянную очередь, которая предотвращает потерю данных за счёт постоянного хранилища и поддерживает возобновляемую передачу данных. При выборе этого режима внимательно следите за использованием хранилища, чтобы избежать его исчерпания.
   queue.checkpoint.writes	Чекпоинт	1024 (рекомендовано)	Максимальное количество записанных событий до принудительного чекпоинта. Этот параметр необходимо задавать только когда queue.type установлен в persisted.
   queue.max_bytes	Disk-based queue	1024 (recommended)	Общая емкость persistent queue. Этот параметр необходимо задавать только когда queue.type установлен в persisted. Обеспечьте достаточное дисковое пространство. Logstash перестанет принимать новые данные, когда диск будет заполнен. Единица: MB

6. После завершения конфигурации нажмите Create.
7. Вернитесь к списку файлов конфигурации. Если Status нового файла конфигурации изменится на Available, он будет создан успешно.

Вы можете редактировать существующие файлы конфигурации, установить файл конфигурации в качестве пользовательского шаблона и удалять файлы конфигурации.