/DOCS
Облачная платформаAdvanced

Управление логами кластера Logstash

Эта статья полезна?
Язык статьи: Русский
Показать оригинал
Страница переведена автоматически и может содержать неточности. Рекомендуем сверяться с английской версией.

CSS предоставляет запрос логов и бэкап логов, позволяя вам легко управлять и анализировать логи для эффективного обнаружения ошибок, оптимизации производительности и повышения безопасности системы.

  • Запрос логов: На странице управления логами в консоли управления CSS вы можете запросить последние записи логов по узлу, чтобы быстро находить или диагностировать проблемы.
  • Бэкап логов: Логи кластера периодически синхронизируются с бакетами OBS. Вы можете загружать их для углубленного анализа в любое время. Вы можете настроить пользовательские политики бэкапа логов, указав графики бэкапа и места хранения. Система бэкапит все критические логи, включая логи выполнения и логи устаревших функций. Они предоставляют полные данные для аудита и устранения неисправностей.

Влияние на биллинг

Когда бэкап логов включен, созданные бэкапы логов сохраняются в бакетах OBS, что приведёт к дополнительным расходам. Для получения подробностей см. .

Требования

Создан бакет OBS, используемый для хранения бэкапов логов. Бакет OBS должен соответствовать следующим требованиям:

  • Класс хранилища: Стандарт.
  • Регион: то же, что у кластера.

Запрос журналов

  1. Войдите в консоль управления CSS.
  2. В навигационной панели слева выберите Кластеры > Logstash.
  3. В списке кластеров кликните название целевого кластера. Отображается страница информации о кластере.
  4. Выберите Логи > Поиск лога. Страница Поиск лога страница отображается.

    Вы можете искать записи лога по узлу или ключевому слову. Для подробного описания каждого типа лога см. Введение в лог.

    Когда размер файла журнала достигает 128 МБ или наступает время 00:00 UTC, система автоматически сжимает и архивирует его. Только неархивированные журналы отображаются на странице поиска журналов, тогда как архивированные журналы остаются доступными через функцию резервного копирования журналов.

Резервное копирование журналов

Журналы кластера можно резервировать в бакетах OBS, откуда их можно загрузить для детального анализа в любое время.

  1. Войдите в консоль управления CSS.
  2. В навигационной панели слева выберите Clusters > Logstash.
  3. В списке кластеров нажмите имя целевого кластера. Отображается страница информации о кластере.
  4. Выберите Logs > Log Backup. The Log Backup страница отображается.
  5. Включите Бэкап журналов.

    Выполните следующие шаги, чтобы включить Бэкап журналов. Если он уже включен, пропустите этот шаг.

    1. Нажмите Включить Бэкап. В отображаемом диалоговом окне настройте необходимые параметры.
      Таблица 1 Лог Бэкап настройки

      Параметр

      Описание

      OBS Бакет

      Выберите OBS Бакет для хранения лог бэкапов из выпадающего списка.

      Если ни один OBS Бакет не соответствует вашим требованиям, нажмите Создать Бакет чтобы перейти в консоль OBS и создать её.

      Чтобы предоставить IAM пользователю доступ к OBS Бакету, вам необходимо предоставить GetBucketStoragePolicy, GetBucketLocation, ListBucket, и ListAllMyBuckets разрешения этому пользователю.

      Путь бэкапа

      Установите место хранения лога в OBS Бакете.

      Путь бэкапа не может:

      • Содержать следующие символы: \:*?"<>|'{}
      • Начинаться со слеша (/).
      • Начинаться или заканчиваться точкой (.).
      • Содержать более двух последовательных слешей (/) или точек (.).
      • Превышать 512 символов.

      IAM Agency

      Для бэкапа данных в OBS Бакет, вам необходимо иметь разрешение на запись в него. Настроив IAM agency, вы можете предоставить CSS доступ к его OBS ресурсам через связанный аккаунт.

      • Если вы настраиваете агентство впервые, нажмите Automatically Create IAM Agency создать css-obs-agency.
      • Если ранее был автоматически создан IAM agency, вы можете нажать One-click authorization чтобы разрешения OBS Administrator автоматически удалялись, а вместо этого автоматически добавлялись следующие пользовательские политики для реализации более тонкого контроля разрешений.
        "obs:bucket:GetBucketLocation",
        "obs:object:GetObjectVersion",
        "obs:object:GetObject",
        "obs:object:DeleteObject",
        "obs:bucket:HeadBucket",
        "obs:bucket:GetBucketStoragePolicy",
        "obs:object:DeleteObjectVersion",
        "obs:bucket:ListBucketVersions",
        "obs:bucket:ListBucket",
        "obs:object:PutObject"
      • Когда бакеты OBS используют шифрование SSE-KMS, IAM agency должна получить разрешения KMS. Вы можете нажать Automatically Create IAM Agency и One-click authorization чтобы следующие пользовательские политики создались автоматически.
        "kms:cmk:create",
        "kms:dek:create",
        "kms:cmk:get",
        "kms:dek:decrypt",
        "kms:cmk:list"
      • Чтобы использовать Automatically Create IAM Agency и One-click authorization, требуются следующие минимальные разрешения:
        "iam:agencies:listAgencies",
        "iam:roles:listRoles",
        "iam:agencies:getAgency",
        "iam:agencies:createAgency",
        "iam:permissions:listRolesForAgency",
        "iam:permissions:grantRoleToAgency",
        "iam:permissions:listRolesForAgencyOnProject",
        "iam:permissions:revokeRoleFromAgency",
        "iam:roles:createRole"
      • Чтобы использовать IAM agency, требуются следующие минимальные разрешения:
        "iam:agencies:listAgencies",
        "iam:agencies:getAgency",
        "iam:permissions:listRolesForAgencyOnProject",
        "iam:permissions:listRolesForAgency"

      WARNING:

      Имя агентства может содержать только буквы (case-sensitive), цифры, подчёркивания (_), и дефисы (-). В противном случае Бэкап завершится с ошибкой.

      Определите, включать ли Автоматический Бэкап на основе потребностей сервиса.

      • Чтобы включить автоматический, периодический Бэкап журнала, выберите Автоматический Бэкап, и задайте политику Бэкапа. Для получения дополнительной информации см 6.
      • Если ручной Бэкап журнала достаточен, снимите выделение Автоматический Бэкап.

    2. Нажмите OK чтобы включить Бэкап журнала.

      Информация о конфигурации будет отображена на Бэкап журналов вкладке.

  6. Бэкап логов. Доступны два варианта: автоматический или ручной.

    Автоматический бэкап логов: логи резервируются периодически в соответствии с предустановленной политикой.

    1. На Бэкап логов странице, нажмите Изменить настройки справа.
    2. В Изменить настройки диалоговом окне, выберите Автоматический бэкап, и настройте политику автоматического бэкапа.
      Таблица 2 Настройки автоматического бэкапа

      Параметр

      Описание

      Часовой пояс

      Выберите часовой пояс для времени начала бэкапа.

      Время начала бэкапа

      Укажите время начала автоматического бэкапа.

      Выберите значение из выпадающего списка. Диапазон значений от 00:00 до 23:00. Резервное копирование всегда происходит в начале часа.

    3. Нажмите OK чтобы включить автоматическое резервное копирование журналов.

      Задачи автоматического резервного копирования журналов отображаются в списке задач. Когда Task Status в списке задач меняется на Succeeded, резервное копирование завершилось успешно.

    4. Если автоматическое резервное копирование журналов не требуется, нажмите Modify Settings. В отображаемом диалоговом окне снимите Automatic backup, и нажмите OK. В отображаемом диалоговом окне подтверждения нажмите OK.

      Отключение Лог Бэкапа не автоматически удаляет ранее автоматически созданные Лог Бэкапы. Вместо этого вам необходимо вручную удалить их в консоли OBS.

    Ручной Лог Бэкап: Бэкап журналов сразу.

    1. На Лог Бэкап странице, нажмите Бэкап вручную под Лог Бэкап Задачи.
    2. В отображаемом диалоговом окне подтвердите путь Лог Бэкапа и нажмите OK.

      Задача Лог Бэкапа отображается в списке задач. Когда Статус задачи в списке задач меняется на Успешно, бэкап выполнен успешно.

  7. Проверьте резервные лог-файлы.

    Логи резервируются инкрементально. После успешного бэкапа, вы можете получить доступ к целевому OBS Бакету, чтобы получить полные лог-файлы, щёлкнув Путь к Логу.

    Таблица 3 перечисляет типы логов, где clustername указывает имя кластера.

    Таблица 3 Типы логов

    Имя лога

    Описание

    clustername_deprecation.log

    Файл лога устаревания

    clustername-plain.log

    Файл лога выполнения

  8. Если функция бэкапа логов больше не требуется, вы можете отключить её.

    На Лог Бэкап страница, щелкните Отключить Бэкап. В отображённом диалоговом окне, щелкните OK. Отключение лог бэкапа не удаляет автоматически существующие лог бэкапы. Вместо этого вам нужно удалить их вручную в консоли OBS.

Введение в лог

Таблица 4 Введение в различные типы логов

Тип лога

Описание

Назначение

Логи выполнения

Логи выполнения записывают статус узлов кластера и конвейера, например, соединение источник‑назначение, создание или изменение конвейера и ошибки выполнения конвейера.

Проверьте логи выполнения, чтобы устранить ошибки конвейера.

Логи устаревания

Логи устаревания фиксируют предупреждения об устаревании. Предупреждения об устаревании записываются в этот журнал, когда вы используете API, конфигурации или функции, помеченные для удаления в будущих версиях.

Вы не можете проверить логи устаревания в консоли. Чтобы проверить их, сначала нужно создать резервную копию в OBS бакете.

Проверьте API или функции, срок действия которых истекает в будущих версиях.

  • Описание журнала выполнения

    Журналы выполнения фиксируют состояние узла кластера и Пайплайна. Например, запись журнала ниже указывает, что целевой кластер недоступен. Необходимо проверить правильность адреса кластера и нормальное ли его состояние.

    Рисунок 1 Пример журналов выполнения


    Содержание журнала:

    • 1. Время создания журнала
    • 2. Уровень журнала, который может быть DEBUG, INFO, WARN или ERROR
    • 3. Модуль, генерирующий журнал
    • 4. Имя узла, генерирующего журнал
    • 5. Содержание журнала

  • Описание Лога устаревания

    Логи устаревания фиксируют предупреждения об устаревании.

    Рисунок 2 Пример логов устаревания


    Содержание Лога:

    • 1. Время создания Лога
    • 2. Уровень Лога, который может быть только УСТАРЕВАНИЕ.
    • 3. Модуль генерации Лога
    • 4. Содержание Лога. Запись Лога, показанная на рисунке выше, указывает, что режим совместимости ECS не был явно объявлен для плагина при запуске Logstash.

Поддержка Юридические документы
© 2026 Cloud.ru