Ops-agent — агент, который позволяет собирать метрики состояния графического процессора (GPU) виртуальной машины с помощью плагина nvidia-smi. Агент основан на Telegraf 1.39.0.
Для получения метрик состояния GPU виртуальная машина должна соответствовать следующим требованиям:
Используется конфигурация с GPU.
Установлена утилита nvidia-smi.
Утилита устанавливается вместе с драйверами NVIDIA. Расположение по умолчанию — /usr/bin/nvidia-smi.
В публичных образах, оптимизированных для GPU, драйверы NVIDIA уже предустановлены.
Собранные метрики отправляются в сервис мониторинга и отображаются на сервисном дашборде виртуальной машины.
Сервисный (преднастроенный) дашборд мониторинга доступен в личном кабинете в разделе Инфраструктура → Виртуальные машины. Чтобы увидеть данные о состоянии GPU виртуальной машины, выберите ее и перейдите в раздел Мониторинг.
На сервисном дашборде Метрики ops-agent настроены следующие виджеты для мониторинга состояния GPU:
Название виджета | Описание |
|---|---|
Утилизация GPU, % | Процент использования ядер графического процессора (ops_agent_nvidia_smi_utilization_gpu). |
Использование памяти GPU | Количество общей (ops_agent_nvidia_smi_memory_total) и используемой (ops_agent_nvidia_smi_memory_used) памяти графического процессора в гигабайтах. |
Температура GPU | Температура графического процессора (ops_agent_nvidia_smi_temperature_gpu). |
Энергопотребление GPU, Вт | Энергопотребление графического процессора (ops_agent_nvidia_smi_power_draw) в ваттах. |
GPU Clocks (SM / Memory) | Текущая рабочая частота видеопамяти (ops_agent_nvidia_smi_clocks_current_memory) и Streaming Multiprocessors (ops_agent_nvidia_smi_clocks_current_sm). |
Метрики GPU, которые собирает ops-agent, приведены в таблице.
Метрика, единица измерения | Описание |
|---|---|
ops_agent_nvidia_smi_fan_speed, % | Скорость вращения вентилятора GPU. |
ops_agent_nvidia_smi_fbc_stats_session_count, штуки | Количество активных сессий Frame Buffer Capture. |
ops_agent_nvidia_smi_fbc_stats_average_fps, кадры в секунду | Средняя частота кадров (FPS) в сессиях Frame Buffer Capture. |
ops_agent_nvidia_smi_fbc_stats_average_latency, микросекунды | Средняя задержка кадра в сессиях Frame Buffer Capture. |
ops_agent_nvidia_smi_memory_free, мебибайты | Свободная память GPU. |
ops_agent_nvidia_smi_memory_used, мебибайты | Используемая память GPU. |
ops_agent_nvidia_smi_memory_total, мебибайты | Полный объем памяти GPU. |
ops_agent_nvidia_smi_memory_reserved, мебибайты | Зарезервированная память GPU, которая занята другими процессами. |
ops_agent_nvidia_smi_retired_pages_multiple_single_bit, штуки | Количество страниц видеопамяти, которые были заменены из-за повторяющихся однобитных ошибок. |
ops_agent_nvidia_smi_retired_pages_double_bit, штуки | Количество страниц видеопамяти, которые были заменены из-за двухбитной ошибки. |
ops_agent_nvidia_smi_remapped_rows_correctable, штуки | Количество строк видеопамяти, которые были корректно заменены на запасные. |
ops_agent_nvidia_smi_remapped_rows_uncorrectable, штуки | Количество строк видеопамяти, которые не удалось корректно заменить на запасные. |
ops_agent_nvidia_smi_power_draw, ватты | Энергопотребление GPU. |
ops_agent_nvidia_smi_temperature_gpu, °C | Температура GPU. |
ops_agent_nvidia_smi_utilization_gpu, % | Утилизация графических ядер GPU. |
ops_agent_nvidia_smi_utilization_memory, % | Утилизация контроллера памяти GPU. |
ops_agent_nvidia_smi_utilization_encoder, % | Утилизация аппаратного кодировщика видео (NVENC). |
ops_agent_nvidia_smi_utilization_decoder, % | Утилизация аппаратного декодировщика видео (NVDEC). |
ops_agent_nvidia_smi_pcie_link_gen_current | Поколение PCIe. |
ops_agent_nvidia_smi_pcie_link_width_current, линии | Ширина канала PCIe. |
ops_agent_nvidia_smi_encoder_stats_session_count, штуки | Количество активных сессий кодировщика видео. |
ops_agent_nvidia_smi_encoder_stats_average_fps, кадры в секунду | Средняя частота кадров (FPS) в сессиях кодировщика видео. |
ops_agent_nvidia_smi_encoder_stats_average_latency, микросекунды | Средняя задержка кадра кодировщика видео. |
ops_agent_nvidia_smi_clocks_current_graphics, мегагерцы | Частота графического домена. |
ops_agent_nvidia_smi_clocks_current_sm, мегагерцы | Рабочая частота Streaming Multiprocessors (SM) — основных вычислительных блоков GPU. |
ops_agent_nvidia_smi_clocks_current_memory, мегагерцы | Частота видеопамяти. |
ops_agent_nvidia_smi_clocks_current_video, мегагерцы | Частота видеоблока. |