Управление логами кластера Elasticsearch

Влияние на выставление счетов

Требования

• Класс хранилища: Стандартный.
• Регион: то же, что у кластера.

Запрос логов

1. Войдите в консоль управления CSS.
2. В навигационной панели слева выберите Кластеры > Elasticsearch.
3. В списке кластеров щелкните название целевого кластера. Страница информации о кластере отображается.
4. Выберите Логи > Поиск логов. Страница Поиск логов отображается.

   Вы можете искать записи по типу лога, узлу, уровню лога или ключевому слову. Для подробного описания каждого типа логов см Введение в Лог.

   Когда лог‑файл достигает 128 MB или когда наступает 00:00 UTC, система автоматически сжимает и архивирует его. Только неархивированные логи отображаются на странице поиска логов, а архивированные логи остаются доступными через функцию бэкапа логов.

Бэкап логов

1. Войдите в консоль управления CSS.
2. В навигационной панели слева выберите Clusters > Elasticsearch.
3. В списке кластеров нажмите имя целевого кластера. Отображается страница информации о кластере.
4. Выберите Logs > Log Backup. The Log Backup страница отображается.
5. Включить бэкап логов.

   Выполните следующие шаги, чтобы включить бэкап логов. Если он уже включён, пропустите этот шаг.

   1. Нажмите Включить Бэкап. В отображаемом диалоговом окне настройте необходимые параметры.

      Таблица 1 Настройки Бэкапа лога

      Параметр	Описание
      OBS Бакет	Выберите OBS бакет для хранения бэкапов лога из раскрывающегося списка. Если ни один OBS бакет не соответствует вашим требованиям, нажмите Создать Бакет чтобы перейти в консоль OBS и создать его. Чтобы предоставить пользователю IAM доступ к OBS бакету, вам необходимо предоставить GetBucketStoragePolicy, GetBucketLocation, ListBucket, и ListAllMyBuckets разрешения для этого пользователя.
      Backup Path	Установите место хранения лога в OBS Бакете. Путь резервного копирования не может: Содержать следующие символы: \:*?"<>|'{} Начинается со слэша (/). Начинается или заканчивается точкой (.). Содержит более двух подряд идущих слэшей (/) или точек (.). Превышает 512 символов.
      IAM Agency	Чтобы резервировать данные в OBS Бакет, необходимо иметь право записи в него. Настроив агентство IAM, вы можете авторизовать CSS для доступа к его OBS ресурсам через связанную учётную запись. Если вы настраиваете агентство в первый раз, нажмите Automatically Create IAM Agency чтобы создать css-obs-agency. Если ранее автоматически создано агентство IAM, вы можете нажать Авторизация в один клик чтобы разрешения OBS Administrator удалялись автоматически, а следующие настраиваемые политики добавлялись автоматически вместо этого для более точного управления правами. "obs:bucket:GetBucketLocation", "obs:object:GetObjectVersion", "obs:object:GetObject", "obs:object:DeleteObject", "obs:bucket:HeadBucket", "obs:bucket:GetBucketStoragePolicy", "obs:object:DeleteObjectVersion", "obs:bucket:ListBucketVersions", "obs:bucket:ListBucket", "obs:object:PutObject" Когда бакеты OBS используют шифрование SSE-KMS, агентству IAM должны быть предоставлены разрешения KMS. Вы можете нажать Автоматически создать агентство IAM и Авторизация в один клик чтобы следующие настраиваемые политики были созданы автоматически. "kms:cmk:create", "kms:dek:create", "kms:cmk:get", "kms:dek:decrypt", "kms:cmk:list" Чтобы использовать Автоматически создать агентство IAM и Авторизация в один клик, требуются следующие минимальные разрешения: "iam:agencies:listAgencies", "iam:roles:listRoles", "iam:agencies:getAgency", "iam:agencies:createAgency", "iam:permissions:listRolesForAgency", "iam:permissions:grantRoleToAgency", "iam:permissions:listRolesForAgencyOnProject", "iam:permissions:revokeRoleFromAgency", "iam:roles:createRole" Чтобы использовать агентство IAM, требуются следующие минимальные разрешения: "iam:agencies:listAgencies", "iam:agencies:getAgency", "iam:permissions:listRolesForAgencyOnProject", "iam:permissions:listRolesForAgency" ПРЕДУПРЕЖДЕНИЕ: Имя агенства может содержать только буквы (с учётом регистра), цифры, подчёркивания (_) и дефисы (-). В противном случае резервное копирование завершится неудачей.

      Определите, включать ли Автоматическое резервное копирование в зависимости от потребностей сервиса.

      • Чтобы включить автоматическое, периодическое резервное копирование журналов, выберите Автоматическое резервное копирование, и задайте политику резервного копирования. Для получения дополнительной информации см. Таблица 2.
      • Если достаточно ручного резервного копирования журналов, снимите выделение Автоматическое резервное копирование.

   2. Щелкните OK чтобы включить резервное копирование журналов.

      Информация о конфигурации будет отображена на Резервное копирование журналов вкладке.

6. Бэкап логов. Доступны два варианта: автоматический или ручной.

   Автоматический бэкап логов: Логи бэкапятся периодически в соответствии с предустановленной политикой.

   1. В Бэкап логов странице, нажмите Изменить настройки справа.
   2. В Изменить настройки диалоговом окне, выберите Автоматический бэкап, и настройте политику автоматического бэкапа.

      Таблица 2 Настройки автоматического бэкапа

      Параметр	Описание
      Часовой пояс	Выберите часовой пояс для времени начала бэкапа.
      Время начала бэкапа	Укажите время начала автоматического бэкапа. Выберите значение из выпадающего списка. Диапазон значений от 00:00 до 23:00. Бэкап всегда происходит в начале часа.

   3. Нажмите OK для включения автоматического журнал Бэкапа.

      Автоматические задачи журнал Бэкапа отображаются в списке задач. Когда Статус задачи в списке задач меняется на Успешно, Бэкап выполнен успешно.

   4. Если автоматический журнал Бэкап не требуется, нажмите Изменить настройки. В отображаемом диалоговом окне снимите выделение Автоматический Бэкап, а затем нажмите OK. В отображаемом диалоговом окне подтверждения щёлкните OK.

      Отключение бэкапа журнала не удаляет автоматически созданные ранее бэкапы журнала. Вместо этого вам необходимо вручную удалить их в консоли OBS.

   Ручной бэкап журнала: Бэкап журналов сразу же.

   1. На Бэкап журнала странице, щёлкните Бэкап вручную под Задачи бэкапа журнала.
   2. В отображаемом диалоговом окне подтвердите путь бэкапа журнала и щёлкните OK.

      Задача бэкапа журнала отображается в списке задач. Когда Статус задачи в списке задач меняется на Выполнено, бэкап выполнен успешно.

7. Проверьте файлы резервных Логов.

   Логи резервируются инкрементно. После успешного бэкапа вы можете получить доступ к целевому OBS Бакет, чтобы получить полные файлы логов, щёлкнув Путь к Логу.

   Таблица 3 перечисляет типы логов, где clustername указывает имя кластера.

   Таблица 3 Типы логов

   Имя Лога	Описание
   clustername_deprecation.log	Файл журнала устаревания
   clustername_index_indexing_slowlog.log	Файл лога медленной индексации
   clustername_index_search_slowlog.log	Файл журнала медленных запросов
   clustername.log	Файл журнала выполнения
   clustername_access.log	Файл журнала доступа

8. Если функция резервного копирования журналов больше не требуется, вы можете отключить её.

   На Log Backup странице, нажмите Disable Backup. В отображаемом диалоговом окне, нажмите OK. Отключение резервного копирования журналов не удаляет автоматически существующие резервные копии журналов. Вместо этого вам необходимо вручную удалить их в консоли OBS.

Log Introduction

• Run Log описание

  Run логи записывают статус кластера и ключевую информацию о операциях записи и запросов. Например, запись Log ниже указывает, что индекс с именем test был создан, а затем статус кластера изменился из YELLOW в GREEN.

  Рисунок 1 Пример журналов выполнения

  
  

  Содержание Лога:

  • 1. Время генерации Лога
  • 2. Уровень Лога, который может быть DEBUG, INFO, WARN, или ERROR
  • 3. Модуль, генерирующий Лог
  • 4. Имя узла, генерирующего Лог
  • 5. Содержание Лога

• Описание журнала медленной индексации

  Журналы медленной индексации фиксируют операции индексации, которые заняли длительное время. Например, запись журнала ниже показывает запрос индексации, который длился дольше установленного порога. Журнал содержит название индекса, продолжительность и содержание запроса.

  Рисунок 2 Пример журналов медленной индексации

  
  

  Содержание лога:

  • 1. Время генерации лога

  • 2. Уровень лога, который может быть DEBUG, INFO, WARN или ERROR
  • 3. Модуль генерации лога
  • 4. Имя узла, генерирующего лог
  • 5. Имя индекса и ID
  • 6. Содержание лога. В этом примере лог записал продолжительность выполнения запроса, тип индекса и тело запроса индекса.

• Описание лога медленных запросов

  Логи медленных запросов фиксируют поисковые запросы, которые занимали длительное время для выполнения. Например, запись лога ниже показывает поисковый запрос, который продолжался дольше установленного порога. Лог содержит имя индекса, продолжительность и содержимое запроса.

  Рисунок 3 Пример логов медленных запросов

  
  

  Содержание лога:

  • 1. Время генерации лога
  • 2. Уровень лога, который может быть DEBUG, INFO, WARN или ERROR
  • 3. Модуль генерации лога
  • 4. Имя узла, генерирующего лог
  • 5. Имя индекса и ID шарда
  • 6. Содержание лога. В этом примере журнал записал длительность запроса, количество совпадений и тело запроса.

• Описание лога устаревания

  Логи устаревания записывают предупреждения об устаревании. Например, запись журнала ниже указывает, что GET /_cat/master устарел и должен быть заменён на GET /_cat/cluster_manager.

  Рисунок 4 Пример журналов устаревания

  
  

  Содержание лога:

  • 1. Время генерации лога
  • 2. Уровень лога, который может быть только DEPRECATION.
  • 3. Модуль генерации лога
  • 4. Имя узла, генерирующего лог
  • 5. Содержание лога

• Описание журнала доступа

  Логи доступа фиксируют запросы доступа к кластеру и исходные адреса. Например, запись лога ниже содержит информацию об источнике для операции /_snapshot/my_backup/my_snapshot/_restore?pretty=true.

  Рисунок 5 Пример логов доступа

  
  

  Содержание лога:

  • 1. Время создания лога
  • 2. Имя узла, генерирующего лог
  • 3. Имя потока, генерирующего лог
  • 4. Уровень лога, который может быть DEBUG, INFO, WARN или ERROR.
  • 5. Метод запроса лога
  • 6. Путь запроса
  • 7. Исходные и целевые адреса запроса

FAQ: Как изменить уровни лога?

• INFO — уровень журнала по умолчанию. Уровни, в порядке увеличения детализации, следующие: ERROR, WARN, INFO, DEBUG и TRACE. Когда установлен INFO, вы будете видеть логи для него самого и всех уровней более высокой серьёзности (ERROR и WARN), тогда как более подробные уровни (DEBUG и TRACE) исключены.
• Вы можете изменить уровень журнала указанного модуля в реальном времени через API Elasticsearch.

1. Войдите в Kibana и перейдите на страницу выполнения команд. Кластеры Elasticsearch поддерживают несколько методов доступа. Эта тема использует Kibana как пример для описания процедур эксплуатации.
   1. Войдите в консоль управления CSS.
   2. В навигационной панели слева выберите Кластеры > Elasticsearch.
   3. В списке кластеров найдите целевой кластер и щёлкните Kibana в Операция столбце для входа в консоль Kibana.
   4. В левой навигационной панели выберите Инструменты разработки.

      Левая часть консоли — это поле ввода команды, а треугольный значок в её правом верхнем углу — кнопка выполнения. Правая часть отображает результат выполнения.

2. Выполните следующую команду, чтобы изменить уровень Лога модуля действия на DEBUG:

   PUT _cluster/settings
   {
     "persistent": {
       "logger": {
         "org.elasticsearch.action": "DEBUG"
       }
     }
   }
   
   

3. Выполните следующую команду, чтобы восстановить уровень Лога по умолчанию INFO:

   PUT _cluster/settings
   {
     "persistent": {
       "logger": {
         "org.elasticsearch.action": null
       }
     }
   }
   
   

FAQ: Как включить трассировку журналов?

1. Войдите в Kibana и перейдите на страницу выполнения команд. Кластеры Elasticsearch поддерживают несколько методов доступа. В данном разделе Kibana используется в качестве примера для описания операционных процедур.
   1. Войдите в консоль управления CSS.
   2. В навигационной панели слева выберите Кластеры > Elasticsearch.
   3. В списке кластеров найдите целевой кластер и нажмите Kibana в Операция столбце, чтобы войти в консоль Kibana.
   4. В левой навигационной панели выберите Dev Tools.

      Левая часть консоли — это поле ввода команды, а треугольный значок в её верхнем правом углу является кнопкой выполнения. Правая часть отображает результат выполнения.

2. Выполните следующую команду, чтобы включить трассировку журналов:

   PUT _cluster/settings
   {
     "transient": {
       "logger.org.elasticsearch.transport.TransportService.tracer": "trace",
       "transport.tracer.include": "",
       "http.tracer.include": "",
       "logger.org.elasticsearch.http.HttpTracer": "trace"
     }
   }
   
   

3. Перейдите на страницу деталей журнала, чтобы просмотреть трассировочные журналы.
   1. В списке кластеров щелкните название целевого кластера. Отобразится страница информации о кластере.
   2. Выберите Логи > Поиск Лога. Эта Лог Поиск страница отображается.
   3. Выберите все уровни логов (обязательно) и просмотрите трассировочные логи.

Связанные документы