Импорт текстовых журналов ECS в LTS

• Если путь сбора хоста уже настроен в AOM, не настраивайте его повторно в LTS.
• После того как LTS передаст конфигурацию сбора, ICAgent собирает файлы согласно следующим правилам:
  • Новые файлы (собранные впервые): Если время последнего изменения файла более чем на 6 часов отстает от текущего времени, файл не собирается.
  • Старые файлы (не собранные впервые): Если время последнего изменения файла более чем на 3 минуты отстает от текущего времени, файл не собирается.

• Созданы группа журналов и поток журналов. Подробнее см. Managing Log Groups и Managing Log Streams.
• Создан ECS (host) для сбора журналов. Если у вас уже есть доступный ECS, пропустите этот шаг.
• ICAgent установлен на хосте. Подробнее см. Installing ICAgent (Intra-Region Hosts) или Installing ICAgent (Extra-Region Hosts) в зависимости от расположения вашего хоста.
• Хост с установленным ICAgent добавлен в группу хостов. Подробнее см. Managing Host Groups.
• Чтобы хост мог корректно передавать данные журналов и использовать метрики, его группа безопасности должна разрешать входящие порты 8149, 8102, 8923, 30200, 30201 и 80.

1. Войдите в консоль управления и выберите Management & Deployment > Log Tank Service.
2. Выберите Log Ingestion > Ingestion Center в панели навигации и нажмите ECS (Elastic Cloud Server).

   Вы также можете выбрать Log Ingestion > Ingestion Management в панели навигации и нажать Create. На отображаемой странице нажмите ECS (Elastic Cloud Server).

3. Выберите группу журналов.
   • Чтобы использовать существующую группу журналов: Выберите группу журналов из выпадающего списка Log Group.
   • Чтобы использовать новую группу журналов: Если нужной группы журналов нет, нажмите Create Log Group для её создания. Подробнее см. Managing Log Groups.
4. Выберите поток журналов.
   • Чтобы использовать существующий поток журналов: Выберите поток журналов из выпадающего списка Log Stream.
   • Чтобы использовать новый поток журналов: Если нужного потока журналов нет, нажмите Create Log Stream для его создания. Подробнее см. Managing Log Streams.
5. Нажмите Next: (Optional) Select Host Group.

Группа хостов представляет собой виртуальную группу хостов, позволяющую эффективно настраивать сбор журналов хостов. Убедитесь, что ICAgent has been installed на хостах, где будут собираться журналы, и the hosts have been added to a host group.

1. Выберите одну или несколько host groups.
   • Чтобы выбрать существующие host groups: В списке host group выберите одну или несколько host groups для сбора их журналов.
     Caution

     Вы можете пропустить этот шаг, не выбирая ни одну host group, и нажав Next: Configurations, а затем Skip в последующем диалоговом окне. Однако, если вы пропустите этот шаг, конфигурация сбора не вступит в силу. Рекомендуется выбирать host groups во время первоначальной ingestion configuration.

     Если вы изначально пропустили выбор host group, вы можете связать host groups позже, используя любой из методов:

     • Выберите Host Management > Host Groups в панели навигации и свяжите host groups с нужной ingestion configuration.
     • После создания ingestion configuration выберите Log Ingestion > Ingestion Management в панели навигации. Нажмите Modify в столбце Operation нужной ingestion configuration и свяжите её с host groups.
   • Если нужных host groups нет, нажмите Create над списком host group. На странице Create Host Group добавьте хосты в зависимости от их статуса установки ICAgent.
     • Если ICAgent уже установлен: Выберите хосты с установленным ICAgent в разделе Add Host. Подробности см. в Managing Host Groups.
     • Если ICAgent ещё не установлен: Нажмите Install ICAgent в разделе Add Host. Выберите Intra-region hosts или Extra-region hosts в зависимости от расположения хоста и продолжите установку ICAgent. Подробности см. в Installing ICAgent (Intra-Region Hosts). После установки ICAgent на нужный хост вернитесь на страницу ECS log ingestion, нажмите Create над списком host group ещё раз. Нужный хост теперь будет отображаться под Add Host на странице Create Host Group.
2. Нажмите Next: Configurations.

Элементы конфигурации сбора включают область сбора журналов, режим сбора и обработку формата. Настройте их следующим образом.

Процедура

1. Collection Configuration Name: Введите от 1 до 64 символов. Разрешены только буквы, цифры, дефисы (-), подчёркивания (_) и точки (.). Не начинайте с точки или подчёркивания и не заканчивайте точкой.
   • Если вы хотите повторно использовать существующие конфигурации сбора, нажмите Import Configuration рядом с полем ввода. На странице Import Configuration выберите конфигурацию и нажмите OK.
   • Import Old-Edition Configuration: Импортировать конфигурацию сбора данных хоста старой версии в сбор журналов новой версии.
     • Если LTS установлен впервые и Import Old-Edition Configuration не отображается, вы можете сразу создать конфигурацию без импорта старой.
     • Если LTS обновлён, Import Old-Edition Configuration отображается. Импортируйте старую конфигурацию или создайте новую по необходимости.
2. Collection Paths: Укажите пути, из которых LTS будет собирать журналы. Правила задания путей сбора следующие:
   • Журналы могут собираться рекурсивно. Двойная звёздочка (**) может представлять до 5 уровней каталогов в пути.

     Например, /var/logs/**/a.log будет соответствовать следующим журналам:

     /var/logs/a.log
     /var/logs/1/a.log 
     /var/logs/1/2/a.log
     /var/logs/1/2/3/a.log
     /var/logs/1/2/3/4/a.log
     /var/logs/1/2/3/4/5/a.log
     
     

     • /1/2/3/4/5/ указывает на 5 уровней каталогов, рекурсивно вложенных в каталог /var/logs. Все файлы a.log, найденные во всех этих уровнях каталогов, будут собраны.
     • В пути сбора может содержаться только одна двойная звёздочка (**). Например, /var/logs/**/a.log допустим, а /opt/test/**/log/** — нет.
     • Путь сбора не может начинаться с двойной звёздочки (**), например /**/test, чтобы избежать сбора системных файлов.
   • Можно использовать звёздочку (*) в качестве подстановочного знака для нечеткого совпадения. Подстановочный знак (*) может представлять один или несколько символов имени каталога или файла.

     Если путь сбора журналов похож на C:\windows\system32, но журналы не собираются, включите Web Application Firewall (WAF) и повторно настройте путь.

     • Пример 1: /var/logs/*/a.log будет соответствовать всем a.log файлам, найденным во всех каталогах под каталогом /var/logs/:

       /var/logs/1/a.log
       /var/logs/2/a.log
       
       

     • Пример 2: /var/logs/service-*/a.log будет соответствовать файлам следующим образом:

       /var/logs/service-1/a.log
       /var/logs/service-2/a.log
       
       

     • Пример 3: /var/logs/service/a*.log будет соответствовать файлам следующим образом:

       /var/logs/service/a1.log
       /var/logs/service/a2.log
       
       

   • Если путь сбора установлен в имя файла, будет собран соответствующий файл. Собирать можно только текстовые файлы.
   • Add Custom Wrapping Rule: ICAgent определяет, обернут ли файл, на основе правила имени файла. Если ваше правило обёртывания не соответствует встроенным правилам, вы можете добавить пользовательское правило обёртывания, чтобы предотвратить потерю журналов при повторном сборе и обёртывании.

     Встроенные правила имеют вид {basename}{connector}{wrapping identifier}.{suffix} и {basename}.{suffix}{connector}{wrapping identifier}. В качестве соединителей могут использоваться дефисы (-), точки (.) или подчёркивания (_), идентификаторы обёртывания могут содержать только небуквенные символы, а суффикс может содержать только буквы.

     Пользовательское правило обёртывания состоит из {basename} и регулярного выражения, описывающего обёрнутый файл. Пример: если имя вашего файла журнала test.out.log, а имена после обёртывания test.2024-01-01.0.out.log и test.2024-01-01.1.out.log, задайте путь сбора /opt/*.log и добавьте пользовательское правило обёртывания: {basename}\.\d{4}-\d{2}-\d{2}\.\d{1}.out.log.

   • Вы можете проверить пути сбора, чтобы убедиться, что журналы могут быть корректно собраны. Нажмите use path verification, введите пути сбора и абсолютные пути файлов журналов, затем нажмите OK. Можно добавить до 30 путей сбора. Если пути указаны правильно, будет отображено сообщение об успехе.
   • Вы можете проверить правила обёртывания, чтобы убедиться, что журналы могут быть корректно собраны. Нажмите wrapping rule verification, введите имя собираемого файла, имя файла после обёртывания и правило обёртывания, затем нажмите OK. Если правило обёртывания верно, будет отображено сообщение об успехе.
3. Allow Repeated File Collection (не доступно для Windows)

   После включения этой функции один файл журнала хоста может быть собран в несколько потоков журналов.

   После отключения этой функции каждый путь сбора должен быть уникальным. То есть один и тот же файл журнала на том же хосте нельзя собирать в разные потоки журналов.

4. Set Collection Filters: Каталоги или файлы из черного списка не будут собраны.

   Фильтры черного списка могут быть точными совпадениями или совпадениями по шаблону с подстановочными знаками. Подробности см. в разделе Collection Paths.

   • Если вы включите файл или каталог в черный список, который был задан как путь сбора на предыдущем этапе, настройки черного списка будут применены, и файл или файлы в каталоге будут отфильтрованы.
   • Если журнал был добавлен в blacklist, его нельзя собрать, даже если вы создаёте задачу log ingestion task. Вы сможете собрать его снова только после удаления пути сбора из blacklist.
   • Если указать каталог, все файлы в каталоге будут отфильтрованы, но журнальные файлы в подпапках каталога отфильтровать нельзя.
   • Фильтры сбора нельзя задать для Windows‑хостов.
5. Collect Windows Event Logs: Чтобы собирать журналы с Windows‑хостов, включите эту опцию. Можно собирать до 500 журналов событий Windows в минуту. Настройте параметры, обратившись к Table 1.

   Table 1 Параметры сбора журналов событий Windows

   Parameter	Description
   Log Type	Вы можете выбрать один из следующих типов журналов: System: записывает события, генерируемые компонентами Windows OS, включая драйверы, системные службы и аппаратные сбои. Application: записывает события, генерируемые пользовательскими приложениями или сторонним программным обеспечением. Security: записывает события, связанные с безопасностью системы, такие как попытки входа, изменения прав и срабатывания политик аудита. Startup: записывает события, происходящие во время загрузки Windows OS.
   First Collection Time Offset	Если установить этот параметр в 7, будут собраны журналы, сгенерированные за семь дней до времени начала сбора. Это смещение действует только для первого сбора, чтобы обеспечить отсутствие повторного сбора журналов. Максимальное значение — семь дней.
   Уровень события	Вы можете фильтровать и собирать события Windows в зависимости от их уровня тяжести (information, warning, error, critical и verbose). Эта функция доступна только в Windows Vista и более новых версиях.

6. Structuring Parsing:

   LTS предлагает различные правила парсинга журналов, включая Single-Line - Full-Text Log, Multi-Line - Full-Text Log, JSON, Delimiter, Single-Line - Completely Regular, Multi-Line - Completely Regular и Combined Parsing. Выберите правило парсинга, соответствующее содержимому вашего журнала. После сбора структурированные журналы отправляются в указанный поток журналов, что позволяет выполнять поиск по полям.

   • Если вы включаете Structuring Parsing, настройте его, обратившись к Configuring ICAgent Structuring Parsing.
   • Если вы отключаете Structuring Parsing, данные журналов не будут структурированы. Необработанные журналы будут отправлены в указанный поток журналов, позволяя выполнять только поиск по ключевым словам.
7. Other: После настройки путей сбора вы также можете задать разделение журналов, сбор двоичных файлов и пользовательские метаданные.

   Table 2 Другие конфигурации

   Параметр	Описание	Пример значения
   Максимальная глубина каталога	Укажите количество уровней каталогов, которые могут быть пройдены при использовании двойных звездочек (**) для нечеткого сопоставления путей сбора журналов. LTS поддерживает максимум 20 уровней каталогов. Например, чтобы собрать журналы из /var/logs/department/app/a.log, задайте путь сбора как /var/logs/**/a.log и Max Directory Depth равным 5.	5
   Split Logs	Чтобы предотвратить слишком большой размер отдельных журналов или их усечение и удаление, вы можете разбивать журналы по размеру файла. Если Split Logs включено, журналы, превышающие указанный размер, будут разбиты на несколько журналов для сбора. Укажите размер в диапазоне от 500 KB до 1 024 KB. Например, если задать размер 500 KB, журнал размером 600 KB будет разбит на журнал размером 500 KB и журнал размером 100 KB. Это ограничение применяется только к однострочным журналам, а не к многострочным журналам. Если Split Logs отключено, любой журнал, превышающий 500 KB, будет усечён, а избыточное содержимое удалено.	Enable
   Collect Binary Files	Укажите, следует ли собирать данные журналов, хранящиеся в бинарном формате. Вы можете выполнить следующую команду для проверки типа файла. Журнальные файлы, содержащие charset=binary, являются бинарными файлами. file -i File name Если эта опция включена, бинарные журнальные файлы, соответствующие правилу поглощения, будут собраны, но поддерживаются только строки UTF-8 и GBK. Другие строки будут отображаться как нечитаемые символы в консоли LTS. Если эта опция отключена, бинарные журнальные файлы собраны не будут.	Enable
   Log File Code	Выберите формат хранения символов в журнальных файлах. Вы можете выбрать кодировку UTF-8 или GBK. Правильно задайте формат кодировки, чтобы содержимое журнала корректно читалось и разбиралось, предотвращая искажение символов или повреждение данных. Кодировка UTF-8 — это режим переменной длины и представляет наборы символов Unicode. GBK, аббревиатура от Chinese Internal Code Extension Specification, является стандартом кодировки китайских символов, расширяющим как ASCII, так и систему кодирования GB2312.	UTF-8
   Collection Policy	Установите, будет ли ICAgent читать файл с конца или с начала при сборе новых файлов журналов. Incremental: При сборе нового файла ICAgent читает файл с конца файла. All: При сборе нового файла ICAgent читает файл с начала файла.	Incremental
   Custom Metadata	Если эта опция отключена, для отправки журналов в LTS используются поля по умолчанию системы ICAgent. Вам не нужно и нельзя настраивать поля. Если эта опция включена, ICAgent будет отправлять журналы на основе выбранных встроенных полей и полей, созданных с помощью пользовательских пар ключ‑значение. Built-in Fields: Выберите встроенные поля по требованию. Custom Key-Value Pairs: Нажмите Add и задайте ключ и значение.	Enable

8. Configure the log format and time by referring to Table 3. Parameters under Unrecommended Configurations are no longer recommended due to design limitations. LTS provides the ICAgent structuring parsing function to replace them. If Structuring Parsing is enabled, these parameters are unavailable.

   Table 3 Настройки сбора журналов

   Parameter	Description
   Log Format	Single-line: Каждая строка журнала отображается как отдельное событие журнала. Multi-line: Несколько строк журналов исключений могут отображаться как одно событие журнала, а каждая строка обычных журналов отображается как событие журнала. Это полезно при проверке журналов для поиска проблем.
   Log Time	System time: время сбора журнала по умолчанию. Оно отображается в начале каждого события журнала. Время сбора журнала — это время, когда журналы собираются и отправляются ICAgent в LTS. Время печати журнала — это время, когда журналы выводятся. ICAgent собирает и отправляет журналы в LTS каждую секунду. Ограничение времени сбора журнала: журналы собираются в течение 24 часов до и после системного времени.
   	Time wildcard: можно задать шаблон времени, чтобы ICAgent использовал время печати журнала в качестве начала события журнала. Если формат времени в событии журнала 2019-01-01 23:59:59.011, шаблон времени следует установить как YYYY-MM-DD hh:mm:ss.SSS. Если формат времени в событии журнала 19-1-1 23:59:59.011, шаблон времени следует установить как YY-M-D hh:mm:ss.SSS. Если событие журнала не содержит информации о годе, ICAgent считает, что оно напечатано в текущем году. Пример: YY - year (19) YYYY - year (2019) M - month (1) MM - month (01) D - day (1) DD - day (01) hh - hours (23) mm - minutes (59) ss - seconds (59) SSS - millisecond (999) hpm - hours (03PM) h:mmpm - hours:minutes (03:04PM) h:mm:sspm - hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00)
   Log Segmentation	Этот параметр необходимо указать, если Log Format установлен в Multi-line. By generation time указывает, что для определения границ журнала используется шаблон времени, тогда как By regular expression указывает, что используется регулярное выражение.
   By regular expression	Вы можете задать регулярное выражение для поиска определённого шаблона, указывающего начало события журнала. Этот параметр необходимо указать, когда вы выбираете Multi-line для Log Format и By regular expression для Log Segmentation. Подстановочный символ времени и регулярное выражение будут искать указанный шаблон с самого начала каждой строки журнала. Если совпадение не найдено, используется системное время, которое может отличаться от времени в событии журнала. Как правило, рекомендуется выбрать Single-line для Log Format и System time для Log Time. ICAgent поддерживает только регулярные выражения RE2. Подробности см. в Syntax.

9. Нажмите Next: Index Settings.

Индекс — это структура хранения, используемая для запросов к данным журнала. Настройка индексации ускоряет и упрощает поиск и анализ журналов. Разные настройки индекса приводят к различным результатам запросов и анализа. Настройте параметры индексации в соответствии с требованиями вашего сервиса.

• Если вы не планируете выполнять запросы или анализ журналов с использованием конкретных полей, можно пропустить настройку индексации при настройке сбора журналов. Это не повлияет на сбор журналов. Вы также можете настроить индексацию после создания конфигурации сбора журналов. Однако параметры индекса будут применяться только к вновь собранным журналам. Если вы решите пропустить этот шаг, оставьте значения по умолчанию на странице Index Settings и нажмите Skip and Submit. Появится сообщение «Logs ingested».
• Чтобы выполнять запросы или анализ журналов с использованием конкретных полей, настройте индексацию на странице Index Settings при создании конфигурации сбора.

  На этой странице нажмите Auto Configure, чтобы LTS создал поля индекса на основе первого события журнала за последние 15 минут или общих зарезервированных системных полей (например, hostIP, hostName и pathFile). Вы также можете вручную добавить структурированные поля. После завершения настройки нажмите Submit. Появится сообщение «Logs ingested». Вы также можете изменить параметры индекса после создания конфигурации сбора. Однако изменения затронут только вновь собранные журналы.

Созданная конфигурация сбора будет отображена.

• Нажмите её имя, чтобы просмотреть детали.
• Нажмите Modify в столбце Operation, чтобы изменить конфигурацию сбора.
• Нажмите More > Configure Tag в столбце Operation, чтобы добавить тег.
• Нажмите More > Copy в столбце Operation, чтобы скопировать конфигурацию сбора.
• нажмите Delete в столбце Operation, чтобы удалить конфигурацию сбора.
  Warning

  Удаление конфигурации сбора может привести к сбоям сбора логов, потенциально вызывая исключения сервиса, связанные с логами пользователей. Кроме того, удалённую конфигурацию сбора нельзя восстановить. Будьте осторожны при выполнении этой операции.

• Чтобы остановить сбор логов конфигурации ingestion, отключите переключатель в столбце Ingestion Configuration, чтобы отключить конфигурацию. Чтобы возобновить сбор логов, включите переключатель в столбце Ingestion Configuration.
  Warning

  Отключение конфигурации ingestion может привести к сбоям сбора логов, потенциально вызывая исключения сервиса, связанные с логами пользователей. Будьте осторожны при выполнении этой операции.

Вы можете задать несколько конфигураций ingestion для различных сценариев пакетно, избегая повторяющихся настроек.

1. На странице Ingestion Management нажмите Batch Create, чтобы перейти на страницу деталей конфигурации.
   1. Ingestion Type: выберите ECS (Elastic Cloud Server).
   2. Rule List:
      • Введите количество конфигураций ingestion в текстовое поле и нажмите Add.
      • Введите имя правила в разделе Configuration Items справа. Вы также можете дважды щёлкнуть имя конфигурации ingestion слева, чтобы заменить его пользовательским именем после настройки элементов конфигурации. Имя правила может содержать от 1 до 64 символов, включая только буквы, цифры, дефисы (-), подчёркивания (_) и точки (.). Оно не может начинаться с точки или подчёркивания и не может заканчиваться точкой.
      • Чтобы скопировать конфигурацию ingestion, наведите курсор на неё и нажмите .
      • Чтобы удалить конфигурацию ingestion, наведите курсор на неё и нажмите . В отображаемом диалоговом окне нажмите OK.
   3. Configuration Items:
      • Конфигурации ingestion отображаются слева. Вы можете добавить до 99 дополнительных конфигураций.
      • Элементы конфигурации сбора отображаются справа. Установите их, ссылаясь на Step 3: Configure the Collection.
      • После завершения конфигурации сбора вы можете нажать Apply to Other Configurations, чтобы скопировать её настройки в другие конфигурации.

2. Нажмите Check Parameters. После успешной проверки нажмите Submit.

   Добавленные конфигурации сбора будут отображаться на странице Ingestion Management после успешного пакетного создания.

3. (Optional) Выполните следующие операции с конфигурациями сбора:
   • Выберите несколько существующих конфигураций сбора и нажмите Edit. На отображённой странице выберите тип сбора, чтобы изменить соответствующие конфигурации сбора.
   • Выберите несколько отключённых конфигураций сбора, нажмите Enable/Disable Ingestion Configuration и выберите Enable, чтобы включить их пакетно.
   • Выберите несколько включённых конфигураций сбора, нажмите Enable/Disable Ingestion Configuration и выберите Disable. Для отключённых конфигураций сбора журналы не собираются. Будьте осторожны при отключении этих конфигураций.
   • Выберите несколько существующих конфигураций сбора и нажмите Delete.