Импортирование текстовых журналов ECS в LTS

Ограничения

• Если путь сбора для хоста уже настроен в AOM, не настраивайте его повторно в LTS.
• После того как LTS доставит конфигурацию сбора, ICAgent собирает файлы согласно следующим правилам:
  • Новые файлы (собираются впервые): Если время последнего изменения файла более чем на 6 часов отстаёт от текущего времени, файл не собирается.
  • Старые файлы (не собираются впервые): Если время последнего изменения файла более чем на 3 минуты отстаёт от текущего времени, файл не собирается.

Требования

• Созданы группа логов и поток логов. Для получения подробностей см Управление группами логов и Управление потоками логов.
• Создан ECS (host) для сбора логов. Если у вас уже есть доступный ECS, пропустите этот шаг.
• ICAgent установлен на хосте. Для получения подробностей см Установка ICAgent (Intra-Region Hosts) или Установка ICAgent (Extra-Region Hosts) в зависимости от местоположения вашего хоста.
• Хост с установленным ICAgent добавлен в группу хостов. Для получения подробностей см Управление группами хостов.
• Для обеспечения корректной передачи лог-данных хостом и использования метрик, его группа безопасности должна разрешать входящие порты 8149, 8102, 8923, 30200, 30201 и 80.

Шаг 1: Выберите поток логов

1. Войдите в консоль управления и выберите Управление & Развертывание > Log Tank Service.
2. Выберите Сбор журналов > Центр сбора в панели навигации и нажмите ECS (Elastic Cloud Server).

   Вы также можете выбрать Сбор журналов > Управление сбором в панели навигации и нажмите Создать. На отображаемой странице нажмите ECS (Elastic Cloud Server).

3. Выберите группу журналов.
   • Чтобы использовать существующую лог-группу: Выберите лог-группу из Лог Группа выпадающий список.
   • Чтобы использовать новую лог-группу: Если желаемой лог-группы нет, нажмите Создать Лог Группу чтобы создать одну. Для получения подробностей смотрите Управление Лог Группами.
4. Выберите лог-поток.
   • Чтобы использовать существующий лог-поток: Выберите лог-поток из Лог Поток выпадающий список.
   • Чтобы использовать новый лог-поток: Если желаемого лог-потока нет, нажмите Создать Лог Поток чтобы создать один. Для получения подробностей смотрите Управление Лог Потоками.
5. Нажмите Далее: (Optional) Выберите группу хостов.

Шаг 2: (Optional) Выберите группу хостов

1. Выберите одну или несколько групп хостов.
   • Чтобы выбрать существующие группы хостов: В списке групп хостов выберите одну или несколько групп хостов для сбора их журналов.
     Caution

     Вы можете пропустить этот шаг, не выбирая ни одну группу хостов, и нажав Далее: Конфигурации, а затем Пропустить в последующем диалоговом окне. Однако, если вы пропустите этот шаг, конфигурация сбора не вступит в силу. Рекомендуется выбрать группы хостов во время начальной конфигурации поглощения.

     Если вы изначально пропустите выбор группы хостов, вы можете позже связать группы хостов, используя любой из методов:

     • Выберите Управление хостом > Группы хостов в панели навигации и связать группы хостов с желаемой конфигурацией поглощения.
     • После создания конфигурации поглощения выберите Поглощение журналов > Управление поглощением в панели навигации. Нажмите Изменить в Операция столбце желаемой конфигурации поглощения и связать его с группами хостов.
   • Если нет нужных групп хостов, нажмите Создать над списком групп хостов. На Создать группу хостов странице, добавьте хосты в зависимости от статуса установки ICAgent.
     • Если ICAgent уже установлен: Выберите хосты с установленным ICAgent под Добавить хост. Для получения подробной информации см Управление группами хостов.
     • Если ICAgent ещё не установлен: Нажмите Установить ICAgent под Добавить хост. Выберите Хосты внутри региона или Хосты из другого региона на основе расположения хоста и продолжить установку ICAgent. Для получения подробной информации см Установка ICAgent (Intra-Region Hosts). После установки ICAgent на нужный хост вернитесь к странице загрузки журналов ECS, нажмите Создать выше списка групп хостов снова. Желаемый хост теперь будет отображаться под Добавить Хост на Создать группу Хостов страница.
2. Нажмите Далее: Конфигурации.

Шаг 3: Настройка сбора

1. Имя конфигурации коллекции: Введите от 1 до 64 символов. Допустимы только буквы, цифры, дефис (-), подчеркивание (_) и точки (.). Не начинайте с точки или подчеркивания и не заканчивайте точкой.
   • Если вы хотите повторно использовать существующие конфигурации коллекций, нажмите Import Configuration рядом с текстовым полем. На Import Configuration странице, выберите конфигурацию и нажмите OK.
   • Import Old-Edition Configuration: Импортировать конфигурацию сбора данных хоста старой версии в сбор данных журналов новой версии.
     • Если LTS установлен заново и Import Old-Edition Configuration не отображается, вы можете напрямую создать конфигурацию без импорта старой.
     • Если LTS обновлен, Import Old-Edition Configuration отображается. Импортируйте старую конфигурацию или создайте её по необходимости.
2. Пути сбора: Укажите пути, из которых LTS будет собирать логи. Правила установки путей сбора следующие:
   • Логи могут собираться рекурсивно. Двойная звёздочка (**) может представлять до 5 уровней каталогов в пути.

     Например, /var/logs/**/a.log будет соответствовать следующим логам:

     /var/logs/a.log
     /var/logs/1/a.log 
     /var/logs/1/2/a.log
     /var/logs/1/2/3/a.log
     /var/logs/1/2/3/4/a.log
     /var/logs/1/2/3/4/5/a.log
     
     

     • /1/2/3/4/5/ указывает на 5 уровней каталогов, рекурсивно вложенных в /var/logs каталог. Все a.log файлы, найденные на всех этих уровнях каталогов, будут собраны.
     • В пути сбора может содержаться только одна двойная звёздочка (**). Например, /var/logs/**/a.log приёмлемо, но /opt/test/**/log/** не является.
     • Путь сбора не может начинаться с двойного астериска (**), например /**/test, чтобы избежать сбора системных файлов.
   • Вы можете использовать звёздочку (*) в качестве подстановочного символа для нечеткого соответствия. Подстановочный символ (*) может представлять один или несколько символов имени каталога или файла.

     Если путь сбора журналов похож на C:\windows\system32 но журналы не могут быть собраны, включите Web Application Firewall (WAF) и повторно настройте путь.

     • Пример 1: /var/logs/*/a.log соответствует всем a.log файлам, найденным во всех каталогах под /var/logs/ каталог:

       /var/logs/1/a.log
       /var/logs/2/a.log
       
       

     • Пример 2: /var/logs/service-*/a.log будет соответствовать файлам следующим образом:

       /var/logs/service-1/a.log
       /var/logs/service-2/a.log
       
       

     • Пример 3: /var/logs/service/a*.log будет соответствовать файлам следующим образом:

       /var/logs/service/a1.log
       /var/logs/service/a2.log
       
       

   • Если путь сбора установлен в виде имени файла, собирается соответствующий файл. Можно собирать только текстовые файлы.
   • Добавить пользовательское правило обёртывания: ICAgent определяет, обёрнут ли файл на основе правила имени файла. Если ваше правило обёртывания не соответствует встроенным правилам, вы можете добавить пользовательское правило обёртывания, чтобы предотвратить потерю журналов во время повторного сбора и обёртывания.

     Встроенные правила {basename}{connector}{wrapping identifier}.{suffix} и {basename}.{suffix}{connector}{wrapping identifier}. Разделителями могут быть дефисы (-), точки (.), или подчёркивания (_), идентификаторы обёртывания могут содержать только небуквенные символы, а суффикс может содержать только буквы.

     Пользовательское правило обёртывания состоит из {basename} и регулярное выражение функции обернутого файла. Пример: если имя вашего файла журнала test.out.log и имена после оборачивания test.2024-01-01.0.out.log и test.2024-01-01.1.out.log, настройте путь сбора на /opt/*.log, и добавьте пользовательское правило оборачивания: {basename}\.\d{4}-\d{2}-\d{2}\.\d{1}.out.log.

   • Вы можете проверить пути сбора, чтобы убедиться, что журналы собираются корректно. Нажмите использовать проверку пути, введите пути сбора и абсолютные пути файлов журнала, и нажмите OK. Вы можете добавить до 30 путей сбора. Если пути корректны, будет отображено сообщение об успешном выполнении.
   • Вы можете проверить правила обёртывания, чтобы гарантировать правильный сбор журналов. Нажмите проверка правила обёртывания, введите имя собранного файла, имя файла после обёртывания и правило обёртывания, и нажмите OK. Если правило обёртывания корректно, будет отображено сообщение об успехе.
3. Allow Repeated File Collection (не доступно для Windows)

   После включения этой функции один лог-файл хоста может быть собран в несколько лог-потоков.

   После отключения этой функции каждый путь сбора должен быть уникальным. То есть один и тот же лог-файл на том же хосте не может быть собран в разные лог-потоки.

4. Set Collection Filters: Каталоги и файлы из черного списка не будут собраны.

   Фильтры черного списка могут быть точными совпадениями или совпадениями по шаблону с подстановками. Подробности см. Collection Paths.

   • Если вы внесете файл или каталог в черный список, который был установлен в качестве пути сбора на предыдущем этапе, будут использованы настройки черного списка, и файл или файлы в каталоге будут отфильтрованы.
   • Если журнал был добавлен в черный список, его нельзя собрать, даже если вы создадите задачу поглощения журнала. Его можно собрать снова только после удаления пути сбора из черного списка.
   • Если указать каталог, все файлы в каталоге будут отфильтрованы, но журнальные файлы в подпапках каталога нельзя отфильтровать.
   • Фильтры сбора нельзя установить для хостов Windows.
5. Сбор журналов событий Windows: Чтобы собирать журналы с хостов Windows, включите эту опцию. До 500 журналов событий Windows можно собирать в минуту. Настройте параметры, обратившись к Таблица 1.

   Таблица 1 Параметры сбора журналов событий Windows

   Параметр	Описание
   Тип журнала	Вы можете выбрать из следующих типов журналов: Система: регистрирует события, генерируемые компонентами Windows OS, включая драйверы, системные службы и аппаратные сбои. Приложение: регистрирует события, генерируемые пользовательскими приложениями или сторонним программным обеспечением. Безопасность: регистрирует события, связанные с безопасностью системы, такие как попытки входа, изменения прав и срабатывания политик аудита. Запуск: регистрирует события, происходящие во время запуска Windows OS.
   Смещение времени первой коллекции	Если вы установите этот параметр в 7, собираются журналы, сгенерированные за семь дней до начала сбора. Это смещение действует только для первой коллекции, чтобы обеспечить, что журналы не собираются повторно. Максимальное значение — семь дней.
   Уровень события	Вы можете фильтровать и собирать события Windows на основе их уровня важности (информация, предупреждение, ошибка, критический, и подробный). Эта функция доступна только для Windows Vista или более новых.

6. Структурирование Парсинг:

   LTS предлагает различные правила парсинга журналов, включая Однострочный - Полнотекстовый журнал, Многострочный - Полнотекстовый журнал, JSON, Разделитель, Однострочный - Полностью регулярный, Многострочный - Полностью регулярный, и Объединённый Парсинг. Выберите правило парсинга, которое соответствует содержимому вашего журнала. После сбора структурированные журналы отправляются в указанный поток журналов, позволяя выполнять поиск по полям.

   • Если вы включите Структурирующий Парсинг, настройте его, обратившись к Настройка ICAgent Структурирующего Парсинга.
   • Если вы отключите Структурирующий Парсинг, данные журнала не будут структурированы. Необработанные журналы будут отправлены в указанный поток журналов, позволяя только поиск по ключевым словам.
7. Другое: После настройки путей сбора вы также можете установить разделение журналов, сбор двоичных файлов и пользовательские метаданные.

   Таблица 2 Другие конфигурации

   Параметр	Описание	Example Value
   Max Directory Depth	Укажите количество уровней каталогов, которые могут быть пройдены при использовании двойных звездочек (**) для нечеткого сопоставления путей сбора журналов. LTS поддерживает максимум 20 уровней каталогов. Например, чтобы собрать журналы из /var/logs/department/app/a.log, установите путь сбора в /var/logs/**/a.log и Max Directory Depth до 5.	5
   Split Logs	Чтобы предотвратить слишком большие отдельные журналы или их обрезку и удаление, вы можете разделять журналы по размеру файла. Если Разделить Логи включена, логи, превышающие указанный размер, будут разделены на несколько логов для сбора. Укажите размер в диапазоне от 500 KB до 1,024 KB. Например, если задать размер 500 KB, лог размером 600 KB будет разделён на лог размером 500 KB и лог размером 100 KB. Это ограничение применяется только к однострочным логам, а не к многострочным логам. Если Разделить Логи отключена, любой лог, превышающий 500 KB, будет обрезан, а избыточное содержимое удалено.	Включить
   Собирать Бинарные Файлы	Укажите, следует ли собирать данные логов, хранящиеся в бинарном формате. Вы можете выполнить следующую команду для проверки типа файла. Файлы логов, содержащие charset=binary являются бинарными файлами. file -i File name Если эта опция включена, бинарные файлы логов, соответствующие правилу захвата, будут собраны, но поддерживаются только строки UTF-8 и GBK. Другие строки будут отображаться как нечитаемый текст в консоли LTS. Если эта опция отключена, бинарные файлы логов не будут собраны.	Включить
   Код файла журнала	Выберите формат хранения символов в файлах журнала. Вы можете выбрать кодировку UTF-8 или GBK. Установите формат кодировки правильно, чтобы содержимое журнала могло быть корректно прочитано и проанализировано, предотвращая искажение символов или повреждение данных. Кодировка UTF-8 является переменной длины и представляет наборы символов Unicode. GBK, аббревиатура от Chinese Internal Code Extension Specification, является стандартом китайской кодировки символов, который расширяет как системы кодировки ASCII, так и GB2312.	UTF-8
   Политика сбора	Установите, будет ли ICAgent считывать файл с конца или с начала при сборе новых файлов журнала. Инкрементный: При сборе нового файла ICAgent считывает файл с конца файла. Все: При сборе нового файла ICAgent считывает файл с начала файла.	Инкрементный
   Пользовательские метаданные	Если эта опция отключена, используются поля по умолчанию системы ICAgent для отправки журналов в LTS. Вам не нужно и невозможно настроить поля. Если эта опция включена, ICAgent будет отправлять журналы на основе выбранных вами встроенных полей и полей, созданных с помощью пользовательских пар «ключ‑значение». Встроенные поля: Выберите встроенные поля по требованию. Пользовательские пары «ключ‑значение»: Нажмите Добавить и задайте ключ и значение.	Включить

8. Настройте формат журнала и время, обратившись к Таблица 3. Параметры в разделе Нерекомендованные конфигурации больше не рекомендуется из‑за ограничений дизайна. LTS предоставляет функцию структурного парсинга ICAgent, заменяющую их. Если Структурный парсинг включён, эти параметры недоступны.

   Таблица 3 Настройки сбора логов

   Параметр	Описание
   Формат лога	Однострочный: Каждая строка лога отображается как отдельное событие лога. Многострочный: Несколько строк журналов исключений могут быть отображены как одно событие лога, а каждая строка обычных журналов отображается как событие лога. Это полезно, когда вы проверяете журналы, чтобы найти проблемы.
   Время лога	Системное время: время сбора лога по умолчанию. Оно отображается в начале каждого события лога. Время сбора лога — это время, когда логи собираются и отправляются ICAgent в LTS. Время печати лога — это время, когда логи печатаются. ICAgent собирает и отправляет логи в LTS каждую секунду. Ограничение времени сбора лога: логи собираются в течение 24 часов до и после системного времени.
   	Шаблон времени: Вы можете задать шаблон времени, чтобы ICAgent искал время печати лога как начало события лога. Если формат времени в событии лога 2019-01-01 23:59:59.011, шаблон времени должен быть установлен в YYYY-MM-DD hh:mm:ss.SSS. Если формат времени в событии лога 19-1-1 23:59:59.011, шаблон времени должен быть установлен в YY-M-D hh:mm:ss.SSS. Если событие лога не содержит информацию о годе, ICAgent рассматривает его как напечатанное в текущем году. Пример: YY - year (19) YYYY - year (2019) M - month (1) MM - month (01) D - day (1) DD - day (01) hh - hours (23) mm - minutes (59) ss - seconds (59) SSS - millisecond (999) hpm - hours (03PM) h:mmpm - hours:minutes (03:04PM) h:mm:sspm - hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00)
   Сегментация лога	Этот параметр должен быть указан, если Формат лога установлен в Многострочный. По времени генерации указывает, что используется шаблон времени для обнаружения границ журнала, тогда как По регулярному выражению указывает, что используется регулярное выражение.
   По регулярному выражению	Вы можете задать регулярное выражение для поиска определённого шаблона, указывающего начало события журнала. Этот параметр необходимо указать при выборе Многострочный для Формат журнала и По регулярному выражению для Сегментация журнала. Подстановочный знак времени и регулярное выражение будут искать указанный шаблон сразу с начала каждой строки журнала. Если совпадение не найдено, используется системное время, которое может отличаться от времени в событии журнала. В общем случае рекомендуется выбрать Однострочный для Формат журнала и Системное время для Время журнала. ICAgent поддерживает только регулярные выражения RE2. Для получения подробной информации см Синтаксис.

9. Нажмите Далее: Настройки индекса.

Шаг 4: Настроить индексирование

• Если вы не хотите выполнять запросы или анализировать журналы, используя определённые поля, вы можете пропустить настройку индексирования при настройке загрузки журналов. Это не повлияет на сбор журналов. Вы также можете настроить индексирование после создания конфигурации загрузки журналов. Однако настройки индекса будут применяться только к недавно загруженным журналам. Если вы решите пропустить этот шаг, оставьте настройки по умолчанию на Настройки индекса странице и нажмите Пропустить и отправить. Появится сообщение "Logs ingested".
• Чтобы выполнять запросы или анализировать журналы, используя определённые поля, настройте индексирование на Настройки индекса странице при создании конфигурации загрузки.

  На этой странице нажмите Автонастройка чтобы LTS генерировал поля индекса на основе первого события журнала за последние 15 минут или общих системных зарезервированных полей (например hostIP, hostName, и pathFile). Вы также можете вручную добавить структурированные поля. После завершения настройки нажмите Отправить. Появится сообщение "Logs ingested". Вы также можете изменить настройки индекса после создания конфигурации поглощения. Однако изменения будут применяться только к вновь поступившим журналам.

Шаг 5: Завершить конфигурацию поглощения

• Нажмите на его имя, чтобы просмотреть детали.
• Нажмите Изменить в Операцию столбец для изменения конфигурации ingestion.
• Щелкните Больше > Настроить Тег в Операция столбец для добавления тега.
• Щелкните Больше > Копировать в Операция столбец для копирования конфигурации ingestion.
• Щелкните Удалить в Операция столбец для удаления конфигурации ingestion.
  Warning

  Удаление конфигурации сбора может привести к сбоям сбора журналов, что может привести к исключениям службы, связанным с журналами пользователей. Кроме того, удалённую конфигурацию сбора нельзя восстановить. Будьте осторожны при выполнении этой операции.

• Чтобы остановить сбор журналов конфигурации сбора, отключите переключатель в the Ingestion Configuration столбце, чтобы отключить конфигурацию. Чтобы возобновить сбор журналов, включите переключатель в the Ingestion Configuration столбце.
  Warning

  Отключение конфигурации сбора может привести к сбоям сбора журналов, потенциально приводя к исключениям службы, связанным с журналами пользователей. Будьте осторожны при выполнении этой операции.

Setting Multiple Ingestion Configurations in a Batch

1. На Ingestion Management странице, нажмите Batch Create перейти на страницу деталей конфигурации.
   1. Тип ввода: Выбрать ECS (Elastic Cloud Server).
   2. Список правил:
      • Введите количество конфигураций ввода в текстовое поле и нажмите Добавить.
      • Введите имя правила ниже Элементы конфигурации справа. Вы также можете дважды щелкнуть имя конфигурации ввода слева, чтобы заменить его пользовательским именем после настройки элементов конфигурации. Имя правила может содержать от 1 до 64 символов, включая только буквы, цифры, дефисы (-), подчеркивания (_) и точки (.). Оно не может начинаться с точки или подчеркивания или заканчиваться точкой.
      • Чтобы скопировать конфигурацию ввода, наведите курсор на неё и нажмите .
      • Чтобы удалить конфигурацию ввода, наведите курсор на неё и нажмите . В отображаемом диалоговом окне нажмите Да.
   3. Элементы конфигурации:
      • Конфигурации поглощения отображаются слева. Вы можете добавить до 99 дополнительных конфигураций.
      • Элементы конфигурации поглощения отображаются справа. Настройте их, обратившись к Шаг 3: Настройка сбора.
      • После завершения конфигурации поглощения вы можете нажать Применить к другим конфигурациям чтобы скопировать её настройки в другие конфигурации.

2. Нажмите Проверка параметров. После успешной проверки нажмите Отправить.

   Добавленные конфигурации поглощения будут отображаться на Управление поглощением страница после успешного создания пакета.

3. (Опционально) Выполните следующие операции с конфигурациями поглощения:
   • Выберите несколько существующих конфигураций поглощения и нажмите Редактировать. На отображённой странице выберите тип поглощения, чтобы изменить соответствующие конфигурации поглощения.
   • Выберите несколько отключённых конфигураций поглощения, нажмите Включить/Отключить конфигурацию поглощения, и выберите Включить чтобы включить их пакетно.
   • Выберите несколько включённых конфигураций поглощения, нажмите Включить/Отключить конфигурацию поглощения, и выберите Отключить. Логи не будут собраны для отключённых конфигураций поглощения. Будьте осторожны при отключении этих конфигураций.
   • Выберите несколько существующих конфигураций сбора и нажмите Удалить.