Кластеры Logstash используют файлы конфигурации для определения планов миграции данных из различных источников данных (input) в различные назначения (output).
Ограничения
- Размер каждого файла конфигурации не может превышать 100 KB.
- Кластер Logstash может иметь максимум 50 файлов конфигурации. Может быть максимум пять файлов конфигурации, которые находятся в Проверка состояние одновременно.
Предварительные требования
Вы получили информацию о серверах или кластерах на источнике данных и назначении, включая IP‑адреса, имена пользователей и пароли.
Создание файла конфигурации
- Перейдите к Центр конфигураций страница.
- Войдите в консоль управления CSS.
- В навигационной панели слева выберите Кластеры > Logstash.
- В списке кластеров нажмите имя целевого кластера. Отображается страница информации о кластере.
- Нажмите Центр конфигурации вкладка.
- На странице Центра конфигурации нажмите Создать в правом верхнем углу. На Создать файл конфигурации отображаемой странице отредактируйте файл конфигурации.
Таблица 1 Создание файла конфигурации Параметр
Описание
Имя
Имя пользовательского файла конфигурации.
Он может содержать только буквы, цифры, дефисы (-) и подчёркивания (_), и должен начинаться с буквы. Минимальная длина — 4 символа.
Содержимое файла конфигурации
Вы можете настроить содержание файла конфигурации, изменив шаблон, и создать его с нуля.
Чтобы использовать шаблон файла конфигурации, разверните Системные шаблоны или Пользовательские шаблоны, выберите шаблон на основе его описания и нажмите Применить в Операция столбце, чтобы скопировать содержимое шаблона в Содержимое файла конфигурации область, где вы можете дополнительно изменить соответствующие элементы.
- Системные шаблоны — это предустановленные шаблоны файлов конфигурации CSS. Для подробностей см Шаблоны файлов конфигурации Logstash.
- Пользовательские шаблоны — шаблоны, добавленные пользователями.
NOTE:Размер каждого файла конфигурации не может превышать 100 КБ.
Скрытый контент
Для элементов, которые вы вводите в этом поле, соответствующие строки будут заменены на *** в конфигурациях.
Введите чувствительные строки, которые вы хотите скрыть, и нажмите Ввести.
Вы можете ввести не более 20 строк, каждая с максимальной длиной 512 байт.
- Нажмите Далее для настройки параметров конвейера Logstash.
Таблица 2 Параметры конвейера Параметр
Описание
pipeline.workers
Количество рабочих потоков, которые будут выполнять стадии Filters и Outputs конвейера параллельно.
Диапазон значений: 1–20
Значение по умолчанию: Количество ядер CPU
pipeline.batch.size
Максимальное количество событий, которые рабочий поток собирает из входов перед попыткой выполнить его фильтры и выводы. Большее значение более эффективно, но увеличивает нагрузку на память.
Значение по умолчанию: 125
pipeline.batch.delay
Максимальное время ожидания каждого нового события перед планированием небольших пакетов в рабочий поток конвейера и созданием пакета событий конвейера.
Значение по умолчанию: 50
Единица измерения: миллисекунды.
queue.type
Внутренняя очередь для буферизации событий.
- память указывает на традиционную очередь, основанную на памяти.
- постоянный указывает на дисковую ACK‑подтверждённую постоянную очередь.
Значение по умолчанию: память
queue.checkpoint.writes
Максимальное количество записанных событий перед принудительным Чекпоинтом. Этот параметр необходимо задать только когда queue.type установлен в сохранённый.
Значение по умолчанию: 1024
queue.max_bytes
Общая ёмкость каждой постоянной очереди в MB. Убедитесь, что ёмкость диска превышает это значение. Этот параметр необходимо задать только когда queue.type установлен в сохранённый.
Значение по умолчанию: 1024
Единица измерения: MB
- После завершения настройки нажмите Создать.
В Центр конфигурации страница, вы можете проверить созданный файл конфигурации. Если его статус изменится на Available, он был успешно создан.
Managing Configuration Files
Вы можете редактировать существующие файлы конфигурации, установить файл конфигурации как пользовательский шаблон и удалять файлы конфигурации.
Function | Constraints | Operation Guide |
|---|---|---|
Modifying a configuration file | Файл конфигурации, для которого выполняется задача конвейера, не может быть изменён. | В списке файлов конфигурации найдите строку, содержащую файл конфигурации, который вы хотите отредактировать, и нажмите Edit в Operation column. На отображаемой странице вы можете изменить Содержимое файла конфигурации, Скрытый контент, и параметры конвейера. |
Установка файла конфигурации в качестве шаблона | N/A | В списке файлов конфигурации нажмите Добавить в пользовательский шаблон в Операция столбце. В отображаемом Добавить в пользовательский шаблон в диалоговом окне задайте имя шаблона, описание и содержимое файла конфигурации, затем нажмите OK. Затем его можно использовать в качестве шаблона для последующей настройки файлов конфигурации. |
Экспорт файлов конфигурации | N/A | Нажмите |
Удаление файла конфигурации | Файл конфигурации, у которого есть выполняющаяся pipeline‑задача, нельзя удалить. | В списке конфигураций найдите строку, содержащую файл конфигурации, который вы хотите удалить, и нажмите Удалить в Операция столбце. В отображаемом диалоговом окне нажмите OK. |
