Поглощение текстовых логов ECS в LTS

Требования

• Группа журналов и поток журналов были созданы. Для получения подробностей см Управление группами журналов и Управление потоками журналов.
• Был создан ECS (хост) для сбора журналов. Если у вас уже есть доступный ECS, пропустите этот шаг.
• ICAgent установлен на хосте. Для получения подробностей см Установка ICAgent (Хосты внутри региона) или Установка ICAgent (Хосты за пределами региона) в зависимости от расположения вашего хоста.
• Хост с установленным ICAgent был добавлен в группу хостов. Для получения подробностей см Управление группами хостов.
• Чтобы обеспечить правильную передачу данных и использование метрик хостом, его группа безопасности должна разрешать входящие порты 8149, 8102, 8923, 30200, 30201 и 80.

Шаг 1: Выберите поток журналов

1. Войдите в консоль управления и выберите Управление & Развёртывание > Log Tank Service.
2. Выберите Поглощение журналов > Центр поглощения в панели навигации и нажмите ECS (Elastic Cloud Server).

   Вы также можете выбрать Поглощение журналов > Управление поглощением в панели навигации и нажмите Поглотить журнал. На отображаемой странице выберите ECS (Elastic Cloud Server).

3. Выберите группу логов из Группа логов список со выпадающим меню. Если нужной группы логов нет, нажмите Создать группу логов. Для получения подробностей см. Управление группами логов.
4. Выберите поток логов из Поток логов список со выпадающим меню. Если нужного потока логов нет, нажмите Создать поток логов. Для получения подробностей см. Управление потоками логов.

   Рисунок 1 Выбор потока логов

   
   
5. Нажмите Далее: (Optional) Выберите группу Хост.

Шаг 2: (Optional) Выберите группу Хост

1. Выберите одну или несколько групп хостов, журналы которых вы хотите собрать.

   Вы также можете пропустить этот шаг, но конфигурация сбора не вступит в силу. Рекомендуется выбрать группу хостов во время первой конфигурации сбора.

   Если вы пропустили этот шаг, выполните один из следующих способов настройки групп хостов после завершения конфигурации сбора:

   • Выберите Управление хостами > Группы хостов в панели навигации и привяжите группы хостов к конфигурациям сбора.
   • Выберите Сбор журналов > Управление загрузкой в навигационной панели. В списке конфигурации загрузки нажмите Изменить в Операция колонке. На отображаемой странице выберите необходимые группы хостов.
2. Если нужных групп хостов нет, нажмите Создать над списком групп хостов.
   • В Создать группу хостов отображаемой странице, выберите хосты с установленным ICAgent под Добавить хост. Для получения подробной информации см Управление группами хостов.
   • Если у нужного хоста не установлен ICAgent, нажмите Установить ICAgent под Добавить Хост. Выбрать Intra-region хосты или Extra-region хосты на основе местоположения хоста и установите ICAgent, обратившись к Установка ICAgent (Intra-Region Hosts). После установки ICAgent на желаемый хост, вернитесь к странице сбора логов ECS, нажмите Создать над списком групп хостов снова. Желаемый хост теперь будет отображаться под Добавить Хост на Создать группу хостов страница.
3. Нажмите Далее: Конфигурации.

Шаг 3: Настройте сбор

Защитите свою конфиденциальность и чувствительные данные. Рекомендуется не передавать конфиденциальные или чувствительные данные через поля, участвующие в журналах доступа. При необходимости зашифруйте данные.

• Если путь сбора для хоста был настроен в AOM, не настраивайте путь в LTS.
• Если файлы журналов были изменены более чем на 12 часов раньше времени добавления пути, файлы не собираются.

1. Имя конфигурации сбора: Введите от 1 до 64 символов. Допустимы только буквы, цифры, дефисы (-), подчёркивания (_) и точки (.). Не начинайте с точки или подчёркивания и не заканчивайте точкой.
   • Если вы хотите повторно использовать существующие конфигурации сбора, нажмите Импорт конфигурации рядом с текстовым полем. На Импорт конфигурации страница, выберите конфигурацию и нажмите OK.
   • Import Old-Edition Configuration: Импортировать конфигурацию поглощения хоста старой версии в поглощение логов новой версии.
     • Если LTS недавно установлен и Import Old-Edition Configuration не отображается, вы можете напрямую создать конфигурацию без импорта старой
     • Если LTS обновлен, Import Old-Edition Configuration отображается. Импортируйте старую конфигурацию или создайте одну по требованию.
2. Collection Paths: Добавьте один или несколько путей к хосту. LTS будет собирать логи с этих путей. Правила настройки путей сбора указаны ниже:
   • Логи могут собираться рекурсивно. Двойная звездочка (**) может обозначать до 5 уровней каталогов в пути.

     Например, /var/logs/**/a.log будет соответствовать следующим журналам:

     /var/logs/a.log
     /var/logs/1/a.log 
     /var/logs/1/2/a.log
     /var/logs/1/2/3/a.log
     /var/logs/1/2/3/4/a.log
     /var/logs/1/2/3/4/5/a.log
     
     

     • /1/2/3/4/5/ указывает на 5 уровней каталогов, рекурсивно вложенных в /var/logs каталог. Все a.log файлы, найденные на всех этих уровнях каталогов, будут собраны.
     • Только один двойной астериск (**) может быть включён в путь коллекции. Например, /var/logs/**/a.log приёмлемо, но /opt/test/**/log/** не является.
     • Путь коллекции не может начинаться с двойного астериска (**), например /**/test, чтобы избежать сбора системных файлов.
   • Вы можете использовать астериск (*) как подстановочный символ для нечеткого сопоставления. Подстановочный символ (*) может представлять один или более символов имени каталога или файла.

     Если путь сбора Лога похож на C:\windows\system32 но журналы не могут быть собраны, включите Web Application Firewall (WAF) и снова настройте путь.

     • Пример 1: /var/logs/*/a.log соответствует всем a.log файлы, найденные во всех директориях под /var/logs/ директория:

       /var/logs/1/a.log
       /var/logs/2/a.log
       
       

     • Пример 2: /var/logs/service-*/a.log соответствует файлам следующим образом:

       /var/logs/service-1/a.log
       /var/logs/service-2/a.log
       
       

     • Пример 3: /var/logs/service/a*.log соответствует файлам следующим образом:

       /var/logs/service/a1.log
       /var/logs/service/a2.log
       
       

   • Если путь сбора установлен в имя файла, соответствующий файл собирается. Собираются только текстовые файлы.
   • Добавить пользовательское правило обёртки: ICAgent определяет, является ли файл обернутым на основе правила имени файла. Если ваше правило обертывания не соответствует встроенным правилам, вы можете добавить пользовательское правило обертывания, чтобы предотвратить потерю логов при повторном сборе и обертывании.

     Встроенные правила {basename}{connector}{wrapping identifier}.{suffix} и {basename}.{suffix}{connector}{wrapping identifier}. Коннекторы могут быть дефисами (-), точками (.), или подчёркиваниями (_), идентификаторы обертывания могут содержать только не‑буквенные символы, а суффикс может содержать только буквы.

     Пользовательское правило обертывания состоит из {basename} и регулярным выражением признака обернутого файла. Пример: Если имя вашего лог‑файла test.out.log и имена после обертывания test.2024-01-01.0.out.log и test.2024-01-01.1.out.log, укажите путь сбора /opt/*.log, и добавьте собственное правило обертывания: {basename}\.\d{4}-\d{2}-\d{2}\.\d{1}.out.log.

3. Allow Repeated File Collection (не доступно для Windows)

   После включения этой функции один файл журнала хоста может быть собран в несколько потоков журналов.

   После отключения этой функции каждый путь сбора должен быть уникальным. То есть один и тот же файл журнала на том же хосте нельзя собирать в разные потоки журналов.

4. Установите фильтры сбора: Черные списки директорий или файлов не будут собраны.

   Фильтры черного списка могут быть точными совпадениями или совпадениями по шаблону с подстановкой. Для получения подробностей см. Пути сбора.

   • Если вы добавите файл или каталог в черный список, который был установлен в качестве пути сбора на предыдущем шаге, будут использованы настройки черного списка, и файл или файлы в каталоге будут отфильтрованы.
   • Если журнал был добавлен в черный список, его нельзя собрать, даже если вы создадите задачу сбора журналов. Его можно собрать снова только после удаления пути сбора из черного списка.
   • Если указать каталог, все файлы в каталоге будут отфильтрованы, но файлы журналов в подпапках каталога нельзя отфильтровать.
   • Фильтры сбора нельзя установить для хостов Windows.
5. Сбор журналов событий Windows: Чтобы собирать журналы с хостов Windows, включите эту опцию. До 500 журналов событий Windows можно собирать в минуту. Настройте параметры, обратившись к Таблица 1.

   Таблица 1 Параметры сбора журналов событий Windows

   Параметр	Описание
   Тип Лога	Типы логов включают Система, Приложение, Безопасность, и Запуск.
   Смещение времени первого сбора	Если установить этот параметр в 7логи, сгенерированные в течение семи дней до времени начала сбора, собираются. Это смещение применяется только к первому сбору, чтобы гарантировать, что логи не собираются повторно. Максимальное значение — семь дней.
   Уровень события	Вы можете фильтровать и собирать события Windows в зависимости от их уровня серьезности (информация, предупреждение, ошибка, критический, и подробный). Эта функция доступна только в Windows Vista или более поздних версиях.

6. Other: After setting the collection paths, you can also set the maximum directory depth, log splitting, and binary file collection.

   Table 2 Other configurations

   Parameter	Description	Example Value
   Split Logs	To prevent individual logs from being too large or being truncated and discarded, you can split logs based on file size. If Split Logs включено, логи, превышающие указанный размер, будут разделены на несколько логов для сбора. Укажите размер в диапазоне от 500 KB до 1 024 KB. Например, если вы зададите размер 500 KB, лог размером 600 KB будет разделён на лог 500 KB и лог 100 KB. Это ограничение применяется только к однострочным логам, а не к многострочным логам. Если Разделить логи отключено, любой лог, превышающий 500 KB, будет обрезан и удалён.	Включено
   Собирать бинарные файлы	Укажите, собирать ли данные логов, хранящиеся в бинарном формате. Вы можете выполнить следующую команду для проверки типа файла. Лог-файлы, содержащие charset=binary являются бинарными файлами. file -i File name Если эта опция включена, бинарные файлы логов будут собраны, но поддерживаются только строки UTF-8. Другие строки будут искажены в консоли LTS. Если эта опция отключена, бинарные файлы логов не будут собраны.	Включено
   Пользовательские метаданные	Если эта опция отключена, используются поля по умолчанию системы ICAgent для отправки логов в LTS. Вам не нужно и нельзя настраивать поля. Если эта опция включена, ICAgent будет отправлять логи на основе выбранных встроенных полей и полей, созданных с помощью пользовательских пар ключ‑значение. Встроенные поля: Выберите встроенные поля по необходимости. Пользовательские пары ключ‑значение: Нажмите Добавить и задайте ключ и значение.	Включено

7. Настройте формат логов и время, обратившись к Таблица 3.

   Таблица 3 Настройки сбора логов

   Параметр	Описание
   Формат логов	Однострочный: Каждая строка журнала отображается как единое событие журнала. Многострочный: Несколько строк журналов исключений могут отображаться как единое событие журнала, и каждая строка обычных журналов отображается как событие журнала. Это полезно, когда вы проверяете журналы для обнаружения проблем.
   Время журнала	Системное время: время сбора журнала по умолчанию. Оно отображается в начале каждого события журнала. Время сбора журнала — это время, когда журналы собираются и отправляются ICAgent в LTS. Время печати журнала — это время, когда журналы печатаются. ICAgent собирает и отправляет журналы в LTS с интервалом 1 секунда. Ограничение времени сбора журнала: журналы собираются в течение 24 часов до и после системного времени.
   	Шаблон времени: Вы можете установить шаблон времени, чтобы ICAgent искал время печати журнала как начало события журнала. Если формат времени в событии журнала 2019-01-01 23:59:59.011, шаблон времени должен быть установлен в YYYY-MM-DD hh:mm:ss.SSS. Если формат времени в событии журнала является 19-1-1 23:59:59.011, шаблон времени должен быть установлен в YY-M-D hh:mm:ss.SSS. Если событие журнала не содержит информации о годе, ICAgent считает его напечатанным в текущем году. Пример: YY - year (19) YYYY - year (2019) M - month (1) MM - month (01) D - day (1) DD - day (01) hh - hours (23) mm - minutes (59) ss - seconds (59) SSS - millisecond (999) hpm - hours (03PM) h:mmpm - hours:minutes (03:04PM) h:mm:sspm - hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00)
   Сегментация журнала	Этот параметр необходимо указать, если Формат журнала установлен в Многострочный. По времени генерации указывает, что шаблон времени используется для определения границ журнала, тогда как По регулярному выражению indicates that a regular expression is used.
   By regular expression	You can set a regular expression to look for a specific pattern to indicate the beginning of a log event. This parameter needs to be specified when you select Multi-line for Log Format and By regular expression for Log Segmentation. The time wildcard and regular expression will look for the specified pattern right from the beginning of each log line. If no match is found, the system time, which may be different from the time in the log event, is used. In general cases, you are advised to select Single-line for Log Format and System time для Время журнала. ICAgent поддерживает только регулярные выражения RE2. Для получения подробной информации см. Синтаксис.

Шаг 4: Настройка структурирования журнала

1. Настройте структурирование журнала. Для получения подробной информации см. Настройка разбора облачного структурирования.

   Если структурирование было настроено для выбранного потока журнала, будьте осторожны при его удалении.

2. Нажмите Далее: Настройки индекса.

Шаг 5: Настройка индексации

• Если вы не хотите выполнять запросы или анализировать журналы с использованием конкретных полей, вы можете пропустить настройку индексации при настройке поступления журналов. Это не повлияет на сбор журналов. Вы также можете настроить индексацию после создания конфигурации поступления журналов. Однако настройки индекса будут применяться только к только что загруженным журналам. Для получения подробной информации см. Создание индекса журнала. Если вы решите пропустить этот шаг, оставьте настройки по умолчанию на Настройки индекса странице и нажмите Пропустить и отправить. Появится сообщение "Logs ingested".
• Чтобы выполнять запросы или анализировать журналы с использованием конкретных полей, настройте индексацию на Настройки индекса странице при создании конфигурации поступления журналов. Для получения подробной информации см. Создание индекса журнала.

  На этой странице нажмите Автонастройка чтобы LTS генерировал поля индекса на основе первого события журнала за последние 15 минут или общих системных зарезервированных полей (например hostIP, hostName, и pathFile), а также вручную добавлять или удалять поля по мере необходимости. После завершения настройки нажмите Отправить. Появится сообщение "Logs ingested". Вы также можете изменить настройки индекса после создания конфигурации ingestion. Однако изменения будут влиять только на новые ingest‑нутые журналы.

Шаг 6: Завершить конфигурацию ingest

• Нажмите на её имя, чтобы просмотреть детали.
• Нажмите Изменить в Операция столбец для изменения конфигурации загрузки.
• Нажмите Настроить Тег в Операция столбец для добавления тега.
• Нажмите Больше > Копировать в Операция столбец для копирования конфигурации загрузки.
• Нажмите Больше > Удалить в Операция столбец для удаления конфигурации загрузки.
  

  Удаление конфигурации сбора может привести к сбоям сбора журналов, что потенциально приведёт к исключениям сервиса, связанным с журналами пользователей. Кроме того, удалённую конфигурацию сбора нельзя восстановить. Будьте осторожны при выполнении этой операции.

Настройка нескольких конфигураций сбора в пакете

1. На Управление сбором странице, нажмите Пакетный сбор чтобы перейти на страницу деталей. Для деталей, см Таблица 4.

   Таблица 4 Создание конфигураций сбора в пакете

   Тип	Параметр	Описание
   Основные настройки	Тип сбора	Выбрать ECS (Elastic Cloud Server).
   	Конфигурации для добавления	Введите количество конфигураций ingest в текстовом поле и нажмите Добавить. Можно добавить максимум 100 конфигураций ingest, включая уже существующую под Настройки ingest по умолчанию. Поэтому вы можете добавить ещё до 99.
   Настройки ingest	Список конфигураций	Конфигурации ingest отображаются слева. Вы можете добавить ещё до 99 конфигураций. Элементы конфигураций ingest отображаются справа. Установите их, ссылаясь на Шаг 3: Настройте коллекцию. После завершения конфигурации ingest вы можете нажать Применить к другим конфигурациям чтобы скопировать его настройки в другие конфигурации.

2. Нажмите Проверить параметры. После успешной проверки нажмите Отправить.

   Добавленные конфигурации ingest будут отображаться на Управление ingest странице после успешного создания пакета.

3. (Опционально) Выполните следующие действия с конфигурациями ingest:
   • Выберите несколько существующих конфигураций ingest и нажмите Редактировать. На отображаемой странице выберите тип ingest, чтобы изменить соответствующие конфигурации ingest.
   • Выберите несколько существующих конфигураций ingest и нажмите Включить или Отключить. Логи не будут собираться для отключённых конфигураций ingestion.
   • Выберите несколько существующих конфигураций ingestion и нажмите Удалить.

Тегирование конфигурации Ingestion

1. В навигационной панели выберите Лог Ingestion > Управление ingestion.
2. Нажмите Больше > Настроить Тег в Операция столбце нужной конфигурации ingestion.
3. На Настроить Тег страница отображается, нажмите Добавить Теги и введите ключ и значение тега. Чтобы добавить больше тегов, повторите этот шаг. Можно добавить до 20 тегов.

   Ограничения ключа тега:

   • Ключ тега может содержать до 128 символов.
   • Каждый ключ тега должен быть уникальным.

   Ограничения значения тега:

   • Значение тега может содержать до 255 символов.

   Удаление тега:

   На Настроить Тег страница, нажмите Удалить в Операция столбце тега.

   

   Если тег используется задачей передачи, необходимо изменить конфигурацию задачи после удаления тега.

4. Нажмите OK. На Управление загрузкой странице, вы можете просматривать добавленные теги в Теги столбце конфигурации загрузки.