Кластеры Logstash используют файлы конфигурации для определения планов миграции данных из разных источников данных (input) в разные места назначения (output).
Ограничения
- Размер каждого файла конфигурации не может превышать 100 КБ.
- Кластер Logstash может иметь максимум 50 файлов конфигурации. Может быть максимум пять файлов конфигурации, которые находятся в Проверка состоянии одновременно.
Требования
Вы получили информацию о серверах или кластерах в источнике данных и пункте назначения, включая IP‑адреса, имена пользователей и пароли.
Создание файла конфигурации
- Войдите в консоль управления CSS.
- В навигационной панели слева выберите Кластеры > Logstash.
- В отображаемом списке кластеров найдите строку, содержащую целевой кластер, и щелкните Центр конфигурации в Операция столбце. Страница Центр конфигурации страница отображается.
В качестве альтернативы, в списке кластеров нажмите имя кластера, чтобы перейти на страницу информации о кластере. В навигационной панели слева выберите Центр конфигурации.
- Щелкните Создать в правом верхнем углу. На Создать файл конфигурации отображаемая страница, отредактируйте файл конфигурации.
Таблица 1 Создание файла конфигурации Параметр
Описание
Имя
Имя пользовательского конфигурационного файла.
Он может содержать только буквы, цифры, дефисы (-) и подчёркивания (_), и должен начинаться с буквы. Минимальная длина — 4 символа.
Содержание конфигурационного файла
Вы можете настроить содержание конфигурационного файла, изменив шаблон, и разработать его с нуля.
Чтобы использовать шаблон конфигурационного файла, разверните Системные шаблоны или Пользовательские шаблоны, выберите шаблон на основе его описания и нажмите Применить в Операция столбце, чтобы скопировать содержимое шаблона в Содержание конфигурационного файла область, где вы можете дополнительно изменить соответствующие элементы.
- Системные шаблоны — это предустановленные шаблоны файлов конфигурации CSS. Для получения подробностей см Шаблоны файлов конфигурации Logstash.
- Пользовательские шаблоны — это шаблоны, добавленные пользователями.
ПРИМЕЧАНИЕ:Размер каждого файла конфигурации не может превышать 100 КБ.
Скрытый контент
Для элементов, которые вы вводите в этом поле, соответствующие строки будут заменены на *** в конфигурациях.
Введите конфиденциальные строки, которые хотите скрыть, и нажмите Ввод.
Вы можете ввести не более 20 строк, каждая из которых имеет максимальную длину 512 байт.
- Нажмите Далее для настройки параметров конвейера Logstash.
Таблица 2 Pipeline параметры Параметр
Описание
pipeline.workers
Количество рабочих потоков, которые будут выполнять этапы Filters и Outputs конвейера в параллельном режиме.
Диапазон значений: 1–20
Значение по умолчанию: Количество ядер CPU
pipeline.batch.size
Максимальное количество событий, которые поток-рабочий собирает из inputs перед попыткой выполнить его filters и outputs. Более крупное значение более эффективно, но увеличивает нагрузку на память.
Значение по умолчанию: 125
pipeline.batch.delay
Максимальное время ожидания для каждого нового события перед планированием небольших пакетов в pipeline worker thread и созданием пакета событий pipeline.
Значение по умолчанию: 50
Единица: миллисекунды.
queue.type
Внутренняя очередь для буферизации событий.
- память указывает на традиционную очередь на основе памяти.
- постоянный указывает на диск-ориентированную подтверждённую постоянную очередь.
Значение по умолчанию: память
queue.checkpoint.writes
Максимальное количество записанных событий до принудительной контрольной точки. Этот параметр необходимо установить только когда queue.type установлен в постоянный.
Значение по умолчанию: 1024
queue.max_bytes
Общий объём каждой постоянной очереди в MB. Убедитесь, что ёмкость диска превышает это значение. Этот параметр необходимо установить только когда queue.type установлен в постоянный.
Значение по умолчанию: 1024
Единица: MB
- После завершения конфигурации нажмите Создать.
На Центр конфигурации странице, вы можете проверить созданный файл конфигурации. Если его статус изменится на Доступно, он был успешно создан.
Управление файлами конфигурации
Вы можете редактировать существующие файлы конфигурации, установить файл конфигурации в качестве пользовательского шаблона и удалять файлы конфигурации.
Функция | Ограничения | Руководство по эксплуатации |
|---|---|---|
Изменение файла конфигурации | Конфигурационный файл, в котором запущена задача конвейера, нельзя изменить. | В списке конфигурационных файлов найдите строку, содержащую конфигурационный файл, который вы хотите отредактировать, и нажмите Редактировать в Operation столбце. На отображаемой странице вы можете изменить Configuration File Content, Hidden Content, и параметры конвейера. |
Setting a configuration file as a template | N/A | В списке конфигурационных файлов нажмите Add to Custom Template в Operation столбце. На отображаемой Add to Custom Template диалоговое окно, укажите имя шаблона, описание и содержание файла конфигурации, и нажмите OK. Затем его можно использовать в качестве шаблона для последующей настройки файлов конфигурации. |
Экспорт файлов конфигурации | N/A | Нажмите |
Удаление файла конфигурации | Файл конфигурации, который имеет незавершенную задачу пайплайна, нельзя удалить. | В списке конфигураций найдите строку, содержащую файл конфигурации, который вы хотите удалить, и нажмите Удалить в Операция колонке. В отображаемом диалоговом окне нажмите OK. |
