Сбор логов с хостов

ICAgent собирает логи с хоста на основе указанных правил сбора, а также упаковывает и отправляет собранные данные в LTS. Просмотр логов доступен в консоли LTS в реальном времени.

См.также

Установка и удаление ICAgent

Только логи Elastic Cloud Server (ECS) могут собираться при приеме логов хоста. Для сбора логов в контейнерах нужно использовать сервис Application Operations Management (AOM).

Для сбора логов:

  1. Войдите в консоль управления Advanced:

  2. В списке сервисов выберите Log Tank Service.

  3. На странице Log Management нажмите на название группы логов.

  4. Выберите поток логов.

  5. В левой навигационной панели выберите Log Ingestion → Host и нажмите Add Path.

  6. В окне Add Collection Path выберите хосты, логи которых нужно собрать, и нажмите Next.

  7. Откроется окно Add Host Path, в нем добавьте путь к логам для сбора:

    • Логи могут собираться рекурсивно. Двойная звездочка (**) может обозначать до пяти уровней каталога.

      Например, /var/log/**.log будет соответствовать следующим логам:

      / var / log / 1. log 
       / var / log / 1 / 2. log 
       / var / log / 1 / 2 / 3. log 
       / var / log / 1 / 2 / 3 / 4. log 
       / var / log / 1 / 2 / 3 / 4 / 5. log
    Примечание

    /1/2/3/4/5/ указывает каталоги 5 уровней в каталоге /var/log. Все файлы a.log, найденные во всех этих каталогах, будут собраны.

    В пути к журналу логов может содержаться двойная звездочка (**) только в одном случае. Например, /var/log/**.log — допустимое написание, но /opt/test/**/log/** — нет.

    Путь к журналу логов не может начинаться с двойной звездочки (**), например /**/test, поскольку в нем могут находиться системные файлы.

    • Для нечеткого сопоставления можно использовать в качестве подстановочного знака звездочку (*). Он может представлять один или несколько символов имени каталога или файла.

      • Например, /var/log/*.log вернет ответ:

        /var/log/1.log /var/log/2.log

      • Например /var/log/service-*.log вернет ответ:

        /var/log/service-1.log /var/log/service-2.log

      • Например, /var/log/service*.log вернет ответ:

        /var/log/service1.log /var/log/service2.log

    • Если в качестве пути сбора указан каталог (например, /var/log/), будут собраны файлы .log, .trace и .out в текущем каталоге и подкаталогах на два уровня ниже.

      Если для пути сбора задано имя файла, будет собран соответствующий файл. Собирать можно только текстовые файлы.

      Примечание

      Убедитесь, что конфиденциальная информация не собирается в логах.

      LTS не может собирать логи экземпляров PostgreSQL (базы данных). Он собирает только логи экземпляров ECS (хоста).

      Путь сбора можно настроить только один раз. Это значит, что путь к хосту нельзя добавить для разных потоков логов. В противном случае сбор будет проведен неверно.

      Если путь сбора хоста был настроен в AOM, его не нужно настраивать в LTS. В случае, когда путь настроен как в AOM, так и в LTS, вступает в силу только тот путь, который будет настроен самым последним.

      Если файлы логов были в последний раз изменены более чем на 12 часов раньше времени добавления пути, файлы не собираются.

  8. Нажмите Next для перехода к этапу установки правил сбора — Set Collection Rule.

    Параметр

    Описание

    Формат логов (Log Format)

    • Single-line — каждая строка лога отображается как одно событие.

    • Multi-line — несколько строк событий лога исключений могут отображаться как одно событие. Это полезно, когда нужна проверка для поиска проблем.

    Лог времени (Log Time)

    • System time — время сбора логов по умолчанию, отображается в начале каждого события.

    • Time wildcard — позволяет установить подстановочное значение времени, чтобы ICAgent искал время публикации лога в качестве начала события журнала.

      • Если формат времени должен быть «2019-01-01 23:59:59», то подстановочное значение будет YYYY-MM-DD hh:mm:ss.

      • Если формат времени должен быть «19-1-1 23:59:59», то подстановочное значение будет YY-M-D hh:mm:ss.

      Примечание

      При отсутствии в событиях лога информации о годе, ICAgent рассматривает его как опубликованное в текущем году.

      Примеры значений:

      YY     -   year   ( 21 ) 
       YYYY   -   year   ( 2021 ) 
       M      -   month   ( 1 ) 
       MM     -   month   ( 01 ) 
       D      -   day   ( 1 ) 
       DD     -   day   ( 01 ) 
       hh     -   hours   ( 23 ) 
       mm     -   minutes   ( 59 ) 
       ss     -   seconds   ( 59 ) 
       hpm       -   hours   ( 03 PM ) 
       h : mmpm      -   hours : minutes   ( 03 : 04 PM ) 
       h : mm : sspm    -   hours : minutes : seconds   ( 03 : 04 : 05 PM ) 
       hh : mm : ss   ZZZZ   ( 16 : 05 : 06   + 0100 ) 
       hh : mm : ss   ZZZ    ( 16 : 05 : 06   CET ) 
       hh : mm : ss   ZZ     ( 16 : 05 : 06   + 01 : 00 )

    Сегментация журнала логов (Log Segmentation)

    Этот параметр необходимо заполнить, если Log Format установлен в режиме Multi-line. By generation time — указывает, что для определения границ лога используется подстановочное значение времени, тогда как в By regular expression используется регулярное выражение.

    Регулярное выражение (Regular Expression)

    Можно задать регулярное выражение для поиска определенного шаблона, указывающего начало события лога. Этот параметр необходимо указать при выборе режима Multi-line для Log Format и при выборе By regular expression для Log Segmentation.

  9. Нажмите OK.

Теперь LTS будет собирать логи на основе указанных правил сбора. Их можно изменить после создания.

Была ли статья полезной ?
Предыдущая статья
Управление потоками логов
Следующая статья
Установка и удаление ICAgent
/ DOCS
Advanced