Введение
В этом разделе описаны метрики, передаваемые DMS для Kafka в Cloud Eye, а также их пространства имён и измерения. Вы можете использовать консоль Cloud Eye или API для запроса метрик и тревог Kafka, либо просмотра метрик экземпляра Kafka в Подробности мониторинга странице консоли DMS for Kafka.
Например, вы можете вызвать API для запроса мониторинговых данных Использование дискового пространства метрика.
Пространство имён
SYS.DMS
Метрики экземпляра
ID метрики | Имя метрики | Описание | Диапазон значений | Единица измерения | Правило преобразования | Мониторируемый объект (измерение) | Период мониторинга (исходные данные) |
|---|---|---|---|---|---|---|---|
current_partitions | Разделы | Количество используемых разделов в экземпляре | 0–100,000 | Количество | N/A | Экземпляр Kafka | 1 минута |
current_topics | Топики | Количество созданных топиков в экземпляре | 0–100,000 | Количество | N/A | Экземпляр Kafka | 1 минута |
group_msgs | Накопленные сообщения | Общее количество накопленных сообщений во всех группах потребителей экземпляра | 0–1,000,000,000 | Количество | N/A | Экземпляр Kafka | 1 минута |
Метрики брокера
ID метрики | Имя метрики | Описание | Диапазон значений | Единица | Правило преобразования | Объект мониторинга (измерение) | Период мониторинга (сырой данные) |
|---|---|---|---|---|---|---|---|
broker_data_size | Размер сообщения | Общий размер сообщений в брокере | 0–5,000,000,000,000 | Байт | 1024(IEC) | Kafka экземпляр брокера | 1 минута |
broker_messages_in_rate | Скорость создания сообщений | Количество сообщений, создаваемых в секунду | 0–500,000 | Count/s | N/A | Kafka экземпляр брокера | 1 минута |
broker_bytes_out_rate | Получение сообщений | Количество байтов, получаемых в секунду | 0–500,000,000 | Байт/с | 1024(IEC) | Kafka экземпляр брокера | 1 минутa |
broker_bytes_in_rate | Создание сообщения | Количество байт, создаваемых в секунду | 0–500 000 000 | Байт/с | 1024(IEC) | Инстанс брокера Kafka | 1 минутa |
broker_fetch_mean | Средняя продолжительность обработки получения сообщения | Среднее время, которое брокер затрачивает на обработку запросов получения сообщений | 0–10 000 | мс | N/A | Инстанс брокера Kafka | 1 минутa |
broker_produce_mean | Средняя продолжительность обработки создания сообщения | Среднее время, которое брокер затрачивает на обработку запросов создания сообщений | 0–10,000 | мс | N/A | Брокер экземпляра Kafka | 1 минута |
broker_cpu_core_load | Средняя загрузка на ядро CPU | Средняя загрузка каждого ядра CPU виртуальной машины Kafka | 0–20 | N/A | N/A | Брокер экземпляра Kafka | 1 минута |
broker_disk_usage | Использование емкости диска | Использование диска виртуальной машины Kafka | 0–100 | % | N/A | Брокер экземпляра Kafka | 1 минута |
broker_memory_usage | Использование памяти | Использование памяти Kafka VM | 0–100 | % | N/A | Экземпляр брокера Kafka | 1 минута |
broker_heap_usage | Использование кучи памяти JVM | Использование кучи памяти Kafka JVM | 0–100 | % | N/A | Экземпляр брокера Kafka | 1 минута |
broker_alive | Broker Alive | Активен ли брокер Kafka |
| N/A | N/A | Экземпляр брокера Kafka | 1 минута |
broker_connections | Подключения | Общее количество TCP‑подключений на брокере Kafka | 0–65,535 | Количество | N/A | Экземпляр брокера Kafka | 1 минута |
broker_cpu_usage | Использование CPU | Использование CPU на виртуальной машине Kafka | 0–100 | % | N/A | Экземпляр брокера Kafka | 1 минута |
broker_disk_read_await | Среднее время чтения диска | Среднее время чтения каждой операции ввода-вывода диска за период мониторинга | > 0 | ms | N/A | Экземпляр брокера Kafka | 1 минута |
broker_disk_write_await | Среднее время записи на диск | Среднее время записи каждой операции ввода-вывода диска за период мониторинга | > 0 | ms | N/A | Экземпляр брокера Kafka | 1 минута |
broker_total_bytes_in_rate | Входящий трафик | Входящий трафик в секунду | 0–1,000,000,000 | Byte/s | 1024(IEC) | Экземпляр брокера Kafka | 1 минута |
broker_total_bytes_out_rate | Исходящий трафик | Исходящий трафик в секунду | 0–1,000,000,000 | Байт/с | 1024(IEC) | Брокер экземпляра Kafka | 1 минута |
broker_disk_read_rate | Скорость чтения диска | Трафик чтения на диске | ≥ 0 | Байт/с | 1024(IEC) | Брокер экземпляра Kafka | 1 минута |
broker_disk_write_rate | Скорость записи диска | Трафик записи на диске | ≥ 0 | Байт/с | 1024(IEC) | Брокер экземпляра Kafka | 1 минута |
использование_пропускной_полосы_сети | Использование пропускной способности сети | Использование пропускной способности сети | 0–100 | % | N/A | Брокер экземпляра Kafka | 1 минута |
Метрики топика
ID метрики | Имя метрики | Описание | Диапазон значений | Единица измерения | Правило преобразования | Мониторируемый объект (измерение) | Период мониторинга (сырые данные) |
|---|---|---|---|---|---|---|---|
topic_bytes_in_rate | Создание сообщения | Количество байтов, созданных за секунду Эта метрика доступна только когда Тип мониторинга установлен в Базовый мониторинг на По теме вкладка. | 0–500,000,000 | Байт/с | 1024(IEC) | Тема в экземпляре Kafka | 1 минута |
topic_bytes_out_rate | Получение сообщения | Количество байтов, полученных за секунду Эта метрика доступна только когда Тип мониторинга установлен в Базовый мониторинг на По теме вкладка. | 0–500,000,000 | Байт/с | 1024(IEC) | Тема в экземпляре Kafka | 1 минута |
topic_data_size | Размер сообщения | Общий размер сообщений в очереди Эта метрика доступна только когда Тип мониторинга установлен на Базовый мониторинг на По теме вкладка. | 0–5,000,000,000,000 | Байт | 1024(IEC) | Тема в экземпляре Kafka | 1 минута |
topic_messages | Общее количество сообщений | Общее количество сообщений в очереди Эта метрика доступна только когда Тип мониторинга установлен в Базовый мониторинг на По теме вкладка. | ≥ 0 | Количество | N/A | Тема в экземпляре Kafka | 1 минута |
topic_messages_in_rate | Скорость создания сообщений | Количество сообщений, создаваемых в секунду Эта метрика доступна только когда Тип мониторинга установлен на Базовый мониторинг в По теме вкладка. | 0–500,000 | Кол-во/с | N/A | Тема в экземпляре Kafka | 1 минута |
partition_messages | Сообщения раздела | Общее количество сообщений в разделе Эта метрика доступна только когда Тип мониторинга установлен на Мониторинг раздела в По теме вкладка. | ≥ 0 | Кол‑во | N/A | Тема в экземпляре Kafka | 1 минута |
produced_messages | Созданные сообщения | Количество сообщений, которые были созданы Эта метрика доступна только когда Тип мониторинга установлен на Мониторинг раздела на По теме вкладка. | ≥ 0 | Кол‑во | N/A | Тема в экземпляре Kafka | 1 минута |
Метрики группы потребителей
ID метрики | Имя метрики | Описание | Диапазон значений | Единица измерения | Правило преобразования | Объект мониторинга (измерение) | Период мониторинга (сырые данные) |
|---|---|---|---|---|---|---|---|
messages_consumed | Полученные сообщения | Количество сообщений, полученных в группе потребителей Эта метрика доступна только когда Тема установлен на конкретное имя темы и Тип мониторинга установлен на Мониторинг разделов на По группе потребителей вкладка. | ≥ 0 | Количество | N/A | Группа потребителей экземпляра Kafka | 1 минута |
messages_remained | Доступные сообщения | Количество сообщений, которые могут быть получены в группе потребителей Эта метрика доступна только когда Тема установлена конкретное имя темы и Тип мониторинга установлен Мониторинг разделов на По группе потребителей вкладка. | ≥ 0 | Количество | N/A | Группа потребителей экземпляра Kafka | 1 минута |
topic_messages_remained | Доступные сообщения темы | Количество оставшихся сообщений, которые можно получить из указанной темы в группе потребителей Эта метрика доступна только когда Тема установлена на конкретное имя темы и Тип мониторинга установлен в Базовый мониторинг на По группе потребителей вкладка. | 0 to 263–1 | Количество | N/A | Группа потребителей экземпляра Kafka | 1 минута |
topic_messages_consumed | Полученные сообщения темы | Количество сообщений, полученных из указанной темы в группе потребителей Эта метрика доступна только когда Тема установлена на конкретное имя темы и Тип мониторинга установлена Базовый мониторинг на По группе потребителей вкладка. | 0 до 263–1 | Количество | N/A | Группа потребителей экземпляра Kafka | 1 минута |
consumer_messages_remained | Доступные сообщения потребителя | Количество оставшихся сообщений, которые могут быть получены в группе потребителей Этот показатель доступен только когда Тема установлен(о) в Все темы на По группе потребителей вкладка. | от 0 до 263–1 | Счёт | N/A | Группа потребителей экземпляра Kafka | 1 минута |
consumer_messages_consumed | Полученные сообщения потребителем | Количество сообщений, полученных в группе потребителей Этот показатель доступен только когда Тема установлен(о) в Все темы на По группе потребителей вкладка. | 0 до 263–1 | Количество | N/A | Группа потребителей экземпляра Kafka | 1 минута |
messages_consumed_per_min | Скорость потребления раздела | Количество сообщений, потребляемых из указанного раздела очереди в группе потребителей каждую минуту Эта метрика доступна только когда Тема установлена в конкретное имя темы и Тип мониторинга установлена в Мониторинг раздела на По группе потребителей вкладка. Некоторые экземпляры не поддерживают эту метрику. Проверьте, поддерживает ли ваш экземпляр её в консоли. | 0–30,000,000 | Count/min | N/A | Группа потребителей экземпляра Kafka | 1 минута |
topic_messages_consumed_per_min | Скорость потребления очереди | Количество сообщений, потребляемых из указанной очереди в группе потребителей каждую минуту Эта метрика доступна только когда Тема установлен на конкретное имя темы и Тип мониторинга установлен на Базовый мониторинг на По группе потребителей страница вкладки. Некоторые экземпляры не поддерживают эту метрику. Проверьте, поддерживает ли ваш экземпляр её в консоли. | 0–30,000,000 | Count/min | N/A | Группа потребителей экземпляра Kafka | 1 минута |
consumer_messages_consumed_per_min | Consumer Group Consumption Rate | Количество сообщений, потребляемых группой потребителей каждую минуту Эта метрика доступна только когда Тема установлено Все темы на By Consumer Group вкладке. Некоторые экземпляры не поддерживают эту метрику. Проверьте, поддерживает ли ваш экземпляр её в консоли. | 0–30,000,000 | Count/min | N/A | Группа потребителей Kafka‑инстанса | 1 минута |
Измерение
Ключ | Значение |
|---|---|
kafka_instance_id | Kafka‑инстанс |
kafka_broker | Брокер Kafka‑инстанса |
kafka_topics | Топик Kafka‑инстанса |
kafka_partitions | Партиция в Kafka‑инстансе |
kafka_groups-partitions | Группа потребителей партиции Kafka‑инстанса |
kafka_groups_topics | Группа потребителей топика Kafka‑инстанса |
kafka_groups | Группа потребителей Kafka‑инстанса |