При использовании Logstash для масштабной миграции данных или потоковой загрузки логов могут возникать ошибки, такие как некорректные конфигурации конвейеров, разрывы соединений между источником и назначением или ошибочная логика обработки данных, что может прерывать потоки данных. CSS предоставляет функцию запроса логов, которая агрегирует базовые серверные логи в консоль, где вы можете выполнять запросы по узлу и ключевому слову за секунды. Анализируя недавние логи, вы можете получать информацию в реальном времени о каждой фазе конвейеров и точно определять коренные причины исключений, таких как тайм‑ауты соединения или синтаксические ошибки конфигурации.
Запрос недавних логов
Запрос недавно сгенерированных логов, которые ещё не архивированы.
- Войдите в консоль управления CSS.
- В панели навигации слева выберите Clusters > Logstash.
- В списке кластеров нажмите название целевого кластера. Отображается страница информации о кластере.
- Выберите Logs > Log Search. Отображается страница Log Search.
Вы можете искать записи логов по узлу или ключевому слову. Подробное описание каждого типа логов см. в Log Types.
CautionКогда размер файла лога достигает 128 МБ или время достигает 00:00 UTC, система автоматически сжимает и архивирует его. На странице поиска логов отображаются только неархивированные логи, тогда как архивированные логи остаются доступными через функцию бэкапа логов. Подробнее см. в Backing Up Logs to OBS.
Log Types
Log Type | Description | Purpose |
|---|---|---|
Run logs | Run logs фиксируют состояние узла кластера и конвейера, например соединение source-destination, создание или изменение конвейера и ошибки выполнения конвейера. | Проверьте run logs для устранения ошибок конвейера. |
Deprecation logs | Deprecation logs фиксируют предупреждения об устаревании. Предупреждения об устаревании записываются в этот журнал, когда вы используете APIs, конфигурации или функции, помеченные для удаления в будущих версиях. Вы не можете просматривать deprecation logs в консоли. Чтобы просмотреть их, сначала необходимо создать резервную копию в OBS bucket. | Проверьте APIs или функции, срок действия которых истекает в будущих версиях. |
- Описание журнала выполнения
Run logs фиксируют состояние узла кластера и конвейера. Например, запись журнала ниже указывает, что целевой кластер недоступен. Необходимо проверить правильность адреса кластера и его нормальное состояние.
Рисунок 1 Пример Run logs
Содержимое журнала:
- 1. Время создания журнала
- 2. Уровень журнала, который может быть DEBUG, INFO, WARN или ERROR
- 3. Модуль, генерирующий журнал
- 4. Имя узла, генерирующего журнал
- 5. Содержание журнала
- Описание журнала устаревания
Журналы устаревания фиксируют предупреждения об устаревании.
Рисунок 2 Пример журналов устаревания
Содержание журнала:
- 1. Время создания журнала
- 2. Уровень журнала, который может быть только DEPRECATION.
- 3. Модуль, генерирующий журнал
- 4. Содержание журнала. Запись журнала, показанная на рисунке выше, указывает на то, что режим совместимости ECS не был явно объявлен для плагина при запуске Logstash.