Сервис мониторинга позволяет получать информацию о состоянии кластера.
В разделе описаны преднастроенные дашборды для мониторинга состояния кластера, а также приведен полный список метрик, которые сервис Managed Kafka передает в сервис мониторинга.
Сервисные (преднастроенные) дашборды мониторинга доступны в личном кабинете в разделе Брокеры сообщений → Managed Kafka. Чтобы увидеть данные, выберите кластер и перейдите на вкладку Мониторинг.
Дашборды состоят из виджетов, которые отображают значения метрик сервиса.
Для Managed Kafka доступны следующие дашборды:
Инстанс,
Брокер,
Топики.
На сервисном дашборде Инстанс настроены следующие виджеты:
Виджет | Описание |
|---|---|
Всего партиций | Количество партиций во всех топиках (kafka_topic_partitions). |
Всего топиков | Количество топиков в кластере. |
Всего сообщений | Текущее количество сообщений (суммарный оффсет) во всех топиках (kafka_server_brokertopicmetrics_count). |
На сервисном дашборде Брокер настроены следующие виджеты:
Виджет | Описание |
|---|---|
CPU, % | Использование процессорного времени контейнером брокера. |
RAM, % | Загрузка оперативной памяти в процентах. |
Disk, байт | Объем занятого дискового пространства (kubelet_volume_stats_used_bytes). |
Входящий / Исходящий трафик | Объем входящего (container_network_receive_bytes_total) и исходящего (container_network_transmit_bytes_total) трафика. |
На сервисном дашборде Топики настроены следующие виджеты:
Виджет | Описание |
|---|---|
Сообщения | Количество сообщений (kafka_server_brokertopicmetrics_count). |
Сообщения в единицу времени | Количество сообщений по каждому топику в единицу времени. |
Размер сообщений | — |
Размер сообщений в единицу времени | — |
Дашборд поддерживает следующие настройки и опции:
Выбор периода сбора данных. По умолчанию отображаются данные за последние 2 часа.
Выбор интервала автообновления данных. По умолчанию обновляются каждые 30 секунд.
Выгрузка графика в PNG-файл.
Просмотр графика в развернутом режиме.
Сервисный дашборд можно дублировать как пользовательский, а затем настроить его под себя или посмотреть, какие метрики и запросы используются в виджетах.
Метрика представляет собой временной ряд, показывающий изменение какого-либо показателя. Например, это может быть загрузка процессора, объем занятого дискового пространства или количество запросов к базе данных.
В сервисе мониторинга метрики используются для создания виджетов дашборда и настройки правил алертов. Значения метрик для этого получают и преобразуют с помощью запроса в PromQL-формате.
Подробнее о работе с метриками.
Название метрики, единица измерения | Описание |
|---|---|
kafka_topic_partitions, шт. | Количество партиций в топиках. |
kafka_server_brokertopicmetrics_count, шт. | Количество сообщений во всех топиках брокера. |
kubelet_volume_stats_used_bytes, байт | Объем занятого дискового пространства. |
container_network_receive_bytes_total, байт | Объем входящего трафика. |
container_network_transmit_bytes_total, байт | Объем исходящего трафика. |
kafka_broker_info | Информация о брокере Kafka. |
kafka_server_app_info_starttimems, мс | Время запуска приложения Kafka. |
kafka_server_socket_server_metrics_io_ratio | Доля времени, в течение которого сетевой поток выполняет операции ввода-вывода. |