При использовании Logstash для масштабной миграции данных или реального времени ввода журналов могут возникать ошибки, такие как некорректные конфигурации pipeline, разорванные соединения между источником и назначением или ошибочная логика обработки данных, которые могут прерывать потоки данных. CSS предоставляет функцию запроса журналов, которая агрегирует базовые журналы серверов в консоль, где их можно запросить по узлу и ключевому слову за секунды. Анализируя последние журналы, вы получаете информацию в реальном времени о каждом этапе pipeline и точно определяете коренные причины исключений, таких как тайм‑ауты соединения или синтаксические ошибки конфигурации.
Запрос недавних журналов
Запрос недавно созданных журналов, которые ещё не архивированы.
- Войдите в консоль управления CSS.
- В левой панели навигации выберите Clusters > Logstash.
- В списке кластеров нажмите название целевого кластера. Отобразится страница информации о кластере.
- Выберите Logs > Log Search. Отобразится страница Log Search.
Вы можете искать записи журналов по узлу или ключевому слову. Подробное описание каждого типа журналов см. в Log Types.
CautionКогда размер файла журнала достигает 128 МБ или время достигает 00:00 UTC, система автоматически сжимает и архивирует его. На странице поиска журналов отображаются только неархивированные журналы, тогда как архивированные журналы остаются доступными через функцию бэкапа журналов. Подробнее см. в Backing Up Logs to OBS.
Типы журналов
Тип журнала | Описание | Назначение |
|---|---|---|
Run logs | Run logs фиксируют состояние узла кластера и конвейера, такие как соединение источник‑назначение, создание или изменение конвейера и ошибки выполнения конвейера. | Проверьте Run logs для устранения ошибок конвейера. |
Deprecation logs | Deprecation logs фиксируют предупреждения об устаревании. Предупреждения об устаревании записываются в этот журнал, когда вы используете API, конфигурации или функции, помеченные для удаления в будущих версиях. Невозможно проверить Deprecation logs в консоли. Чтобы проверить их, сначала необходимо создать резервную копию в OBS bucket. | Проверьте API или функции, срок действия которых истекает в будущих версиях. |
- Описание журнала выполнения
Run logs фиксируют состояние узла кластера и конвейера. Например, запись журнала ниже указывает, что кластер назначения недоступен. Необходимо проверить правильность адреса кластера и его нормальное состояние.
Рисунок 1 Пример журналов выполнения
Содержимое журнала:
- 1. Время создания журнала
- 2. Уровень журнала, который может быть DEBUG, INFO, WARN или ERROR
- 3. Модуль, генерирующий журнал
- 4. Имя узла, генерирующего журнал
- 5. Содержимое журнала
- Описание журнала устаревания
Журналы устаревания фиксируют предупреждения об устаревании.
Рисунок 2 Пример журналов устаревания
Содержимое журнала:
- 1. Время создания журнала
- 2. Уровень журнала, который может быть только DEPRECATION.
- 3. Модуль, генерирующий журнал
- 4. Содержимое журнала. Запись журнала, показанная на рисунке выше, указывает на то, что режим совместимости ECS не был явно объявлен для плагина при запуске Logstash.