Сервис мониторинга позволяет получать информацию о состоянии инфраструктуры, например об использовании оперативной памяти или количестве запросов к контейнеру.
В разделе описаны преднастроенные дашборды для мониторинга состояния инфраструктуры и приложений в реальном времени, а также приведен полный список метрик, которые сервис Managed Metastore передает в сервис мониторинга.
Сервисные (преднастроенные) дашборды доступны в личном кабинете в разделе Мониторинг → Дашборды → Сервисные → Evolution Managed Metastore. Дашборды состоят из виджетов, которые отображают значения метрик сервиса.
Для Managed Metastore существует два сервисных дашборда: Основные метрики Managed Metastore и Основные метрики Managed Nessie. После создания инстанса в сервисе Managed Metastore преднастроенные дашборды доступны в карточке инстанса на вкладке Мониторинг.
Название виджета | Описание |
|---|---|
Таблицы | График действий с таблицами. Показывает, как меняется количество таблиц (metastore_total_count_tables) и количество запросов на создание (metastore_create_total_count_tables) и удаление (metastore_delete_total_count_tables) таблиц в инстансе Managed Metastore. |
Базы данных | График действий с базами данных. Показывает, как меняется количество баз данных (metastore_total_count_dbs) и количество запросов на создание (metastore_create_total_count_dbs) и удаление (metastore_delete_total_count_dbs) баз данных в инстансе Managed Metastore |
Партиции | График действий с партициями. Показывает, как меняется количество партиций (metastore_total_count_partitions) и количество запросов на создание (metastore_create_total_count_partitions) и удаление (metastore_delete_total_count_partitions) таблиц в инстансе Managed Metastore |
SQL Errors | График количества ошибок SQL (metastore_directsql_errors). |
Количество нод | График изменения количества нод в состоянии «Ready» (kube_node_status_condition). |
CPU (%) | График изменения процентного отношения между использованным процессорным временем (container_cpu_usage_seconds_total) и доступными контейнеру вычислительными ресурсами (kube_pod_container_resource_limits). |
Deadlocks | График изменения количества взаимных блокировок (metastore_deadlock_count). |
Ошибки при работе с сетью | Показывает количество ошибок при отправке (container_network_transmit_errors_total) и получении (container_network_receive_errors_total) сетевых пакетов. |
Загрузка RAM (%) | График изменения процентного отношения между использованной оперативной памятью (container_memory_working_set_bytes) и доступными контейнеру вычислительными ресурсами (kube_pod_container_resource_limits). |
Клиентские соединения | График изменения количества соединений с Metastore (metastore_open_connections). |
Heap JVM | График использования оперативной памяти для работы виртуальной машины Java (JVM). Отображает следующие данные:
|
Название виджета | Описание |
|---|---|
Загрузка CPU (%) | График изменения загрузки процессора (node_cpu_seconds_total). |
Загрузка RAM (%) | График изменения процентного отношения между использованной (node_memory_MemTotal_bytes) и доступной оперативной памятью (node_memory_MemAvailable_bytes). |
Дашборды поддерживают следующие настройки и опции:
Выбор периода сбора данных. По умолчанию отображаются данные за последние 2 часа.
Выбор интервала автообновления данных. По умолчанию обновляются каждые 5 минут.
Выгрузка графика в PNG-файл.
Просмотр графика в развернутом режиме.
Сервисный дашборд можно дублировать как пользовательский, а затем настроить его под себя или посмотреть, какие метрики и запросы используются в виджетах.
Метрика представляет собой временной ряд, показывающий изменение какого-либо показателя. Например, это может быть использование оперативной памяти или количество созданных таблиц.
В сервисе мониторинга метрики используются для создания виджетов дашборда и настройки правил алертов. Значения метрик для этого получают и преобразуют с помощью запроса в PromQL-формате.
Подробнее о работе с метриками.
Название метрики, единица измерения | Описание |
|---|---|
metastore_total_count_tables, шт. | Общее количество таблиц. |
metastore_create_total_count_tables, шт. | Количество запросов на создание таблиц. |
metastore_delete_total_count_tables, шт. | Количество запросов на удаление таблиц. |
metastore_total_count_dbs, шт. | Общее количество баз данных. |
metastore_create_total_count_dbs, шт. | Количество запросов на создание баз данных. |
metastore_delete_total_count_dbs, шт. | Количество запросов на удаление баз данных. |
metastore_total_count_partitions, шт. | Общее количество партиций. |
metastore_create_total_count_partitions, шт. | Количество запросов на создание партиций. |
metastore_delete_total_count_partitions, шт. | Количество запросов на удаление партиций. |
metastore_directsql_errors, шт. | Количество SQL-запросов с ошибками. |
kube_node_status_condition, шт. | Показывает количество нод в состоянии «Ready», на которых развернут Metastore. |
container_cpu_usage_seconds_total, с | Процессорное время, использованное контейнером. |
kube_pod_container_resource_limits | Доступное количество вычислительных ресурсов для контейнера. Для расчета метрики используется переменная resource со следующими значениями:
|
metastore_deadlock_count, шт. | Количество взаимных блокировок Metastore. |
container_network_receive_errors_total, шт. | Количество ошибок при получении сетевых пакетов. |
container_network_transmit_errors_total, шт. | Количество ошибок при отправке сетевых пакетов. |
container_memory_working_set_bytes, Б | Объем оперативной памяти, использованный контейнером. |
metastore_open_connections, шт. | Количество соединений с Metastore. |
metastore_heap_used, Б | Объем оперативной памяти, используемый Metastore для работы виртуальной машины Java (JVM). |
metastore_heap_max, Б | Объем оперативной памяти, доступный Metastore для работы виртуальной машины Java (JVM). |
metastore_heap_committed, Б | Объем оперативной памяти, зарезервированный Metastore для работы виртуальной машины Java (JVM). |
node_cpu_seconds_total, с | Загрузка процессора (CPU). |
node_memory_MemAvailable_bytes, Б | Доступный объем оперативной памяти. |
node_memory_MemTotal_bytes, Б | Использованный объем оперативной памяти. |
Каждой метрике присвоены лейблы. Лейбл определяет, к какому проекту, кластеру, инстансу или другой сущности принадлежит показатель. Например, благодаря лейблам можно вывести информацию об отдельном инстансе.
Лейбл | Описание |
|---|---|
product_type | Название сервиса. Постоянное значение для Managed Metastore — metastore |
project_id | ID проекта. Подробнее о проектах читайте в разделе Управление проектами |
instance_id | ID инстанса Metastore |
Метрики и лейблы можно использовать в API-запросах в формате Prometheus text-based exposition или в Grafana.