Просмотр и изменение кластера
Для просмотра и изменения кластера необходимо выполнить следующую последовательность действий:
-
В списке сервисов выберите MapReduce Service.
-
В боковом меню слева выберите Clusters → Active Clusters.
-
Нажмите на название кластера.
-
Настройки кластера располагаются на следующих вкладках:
-
Dashboard — на данной вкладке можно узнать базовую информацию о кластере, а также произвести мониторинг основных метрик.
-
Nodes — список и управление узлами кластера в разрезе вида и назначения узла.
-
Components — отображается список компонентов кластера.
-
Alarms — на данной вкладке отображаются ошибки, такие как некорректная работа кластера или системные ошибки, а также можно посмотреть операции, совершенные в кластере, и настроить правила оповещения.
-
Patches — сервис MRS предоставляет унифицированные функции развертывания исправлений и управления ими, помогая предотвращать и решать проблемы. Патчи используются только для устранения неполадок и не предоставляют новых функций кластеру.
-
Files — на данной вкладке осуществляется управление каталогами и файлами HDFS.
-
Jobs — создание и управление заданиями.
-
Tenants — доступ к кластеру MRS можно настроить для различных пользователей и приложений, используя тенанты. На вкладке Tenants происходит создание новых тенантов, управление тенантами и распределение ресурсов между ними.
-
Backup & Restoration — на данной вкладке есть возможность произвести процедуру резервного копирования данных кластера, а также восстановить данные из сохраненной ранее копии.
-
Bootstrap Actions — отображается список Bootstrap Actions, который был добавлен на этапе создания кластера.
-
-
В строке меню кластера можно сделать следующее:
-
— посмотреть список задач.
-
— перейти к списку аварийных оповещений со статусом «Critical».
-
— перейти к списку аварийных оповещений со статусом «Major».
-
— перейти к списку аварийных оповещений со статусом «Minor».
-
— перейти к списку аварийных оповещений со статусом «Suggestion».
-
Download Authentication Credential — скачать файлы для прохождения аутентификации.
-
Management Operations — выполнить следующие операции:
-
Start All Components — запуск всех компонентов кластера.
-
Stop All Components — остановка всех компонентов кластера.
-
Perform Rolling Cluster Restart — выполнение скользящего обновления кластера.
-
Check Cluster Health Status — проверка статуса исправности кластера.
-
Show Cluster Health Check Report — показать отчет статуса исправности кластера.
-
-
Configure — выполнить следующие операции:
-
Synchronize Configuration — запуск процедуры синхронизации настроек кластера.
-
Export Cluster Configuration — экспорт настроек кластера в XML-файл.
-
-
OM — выполнить следующие операции:
-
Authorize OM или Cancel Authorization — выдача и отмена временного разрешения на авторизацию.
-
Share Log — выгрузка журнала логов.
-
Metric Sharing — выгрузка метрик.
-
-
Вкладки меню Active Clusters.
Dashboard
На вкладке Dashboard можно узнать базовую информацию о кластере, а также произвести мониторинг основных метрик.
Вид данной вкладки зависит от того, синхронизирован или нет кластер с сервисом IAM. Если не синхронизирован, мониторинг основных показателей можно увидеть только через MRS Manager. Ниже пример вкладки Dashboard кластера после процедуры синхронизации.
-
Cluster Name — название кластера.
-
Cluster Status — статус кластера.
-
- MRS Manager — доступ в MRS Manager.
Для доступа необходим свободный IP-адрес. Если доступ уже настроен, то привязанный к кластеру EIP будет отражаться в поле EIP.
-
Billing Mode — режим оплаты за сервис.
-
Cluster Version — используемая версия кластера.
-
Cluster Type — тип кластера.
-
Cluster ID — идентификационный номер кластера.
-
Created — дата и время создания кластера.
-
AZ — зона доступности.
-
Subnet — подсеть.
-
VPC — сеть.
-
- EIP — внешний IP-адрес, привязанный к кластеру в случае подключения к MRS Manager.
Для изменения или добавления правил группы безопасности кластера нажмите на Add Security Group Rule.
-
Kerberos Authentication — отражает, включена (Enabled) или нет (Disabled) проверка подлинности Kerberos.
-
Logging — опция записи логов.
-
Security Group — группа безопасности создается автоматически или выбирается нужная на этапе создания кластера.
-
IAM User Sync — после запуска синхронизации пользователи IAM, у которых есть право доступа к MRS, будут синхронизированы (статус сменится с «Not Synchronized» на «Synchronized»).
Nodes
На вкладке Nodes расположена информация об узлах кластера в разрезе их назначения.
-
Configure Task Node — нажмите на кнопку, чтобы добавить новый рабочий узел.
-
Node Operation — можно выполнить следующие действия:
-
Start All Roles — запуск всех ролей. Для проверки наличия неисправного узла нужно остановить все роли, а потом снова их запустить после того, как ошибка устранена.
-
Stop All Roles — остановка всех ролей.
-
Isolate Host — узел можно временно исключить из числа доступных узлов кластера в некоторых ситуациях, например, если неисправный узел влияет на общую производительность кластера или если нужно исключить указанный узел при установке патчей.
ПримечаниеУправляющие узлы изолировать нельзя.
-
Cancel Host Isolation — отменить изоляцию узла.
-
Start Host Health Check — запустить проверку исправности хоста.
-
-
Scale Out — увеличение количества узлов.
-
Scale In — уменьшение количества узлов.
-
Auto Scaling — настройка правила автомасштабирования, а также настройка правила запуска скрипта.
Components
На вкладке Components расположена информация обо всех компонентах кластера и инструменты управления ими.
Доступность данной вкладки зависит от того, синхронизирован или нет кластер с сервисом IAM. Если не синхронизирован, вкладка недоступна и информацию по компонентам можно увидеть только через MRS Manager. Ниже пример вкладки после процедуры синхронизации.
-
Download Client — нажмите для скачивания конфигурационного файла.
-
Refresh Every 30s — выберите частоту обновления информации о компонентах (обновление каждые 30 или 60 секунд, прекратить обновление).
-
Start — запуск компонента.
-
Stop — остановка компонента.
-
Restart — перезагрузка компонента.
-
При нажатии на название компонента вы попадете на страницы с информацией, мониторингом и инструментами для управления компонентом.
Alarms
На вкладке Alarms отображается список всех оповещений.
Вкладка Alarms:
-
Export All — экспорт списка оповещений в TXT или CSV-файл.
-
Clear Alarm — выключить оповещение.
-
Refresh Every 30s — выберите частоту обновления информации об оповещениях (обновление каждые 30 или 60 секунд, прекратить обновление).
-
All — фильтрация списка отображаемых оповещений (All, Critical, Major, Minor, Suggestion).
-
Advanced Search — расширенный поиск оповещений. Позволяет искать по таким параметрам, как: Alarm ID, Alarm Name, Alarm Status и Time Range.
-
Clear Alarm — выключить определенное оповещение.
Вкладка Events:
-
Export All — экспорт списка оповещений в TXT или CSV-файл.
-
Refresh Every 30s — выберите частоту обновления информации об оповещениях (обновление каждые 30 или 60 секунд, прекратить обновление).
-
Advanced Search — расширенный поиск оповещений. Позволяет искать по таким параметрам, как: Alarm ID, Alarm Name, Alarm Status и Time Range.

Вкладка Notification Rules:
-
Add Notification Rule — добавить правило оповещения.
-
Edit — изменить правило оповещения.
-
Delete — удалить правило оповещения.

Patches
На вкладке Patches будут появляться системные обновления. По мере поступления можно просматривать информацию о новом патче и принимать решение о его установке.
На данной вкладке можно произвести следующие операции:
-
View Details — просмотреть информацию о патче.
-
Install — установить определенный патч.
-
Uninstall — откатить установку патча.
Описанные выше опции появятся только после выпуска патча.

Files
На вкладке Files происходит управление файлами хранилища HDFS.
Вкладка HDFS File List:
-
Create Folder — создать папку.
-
Import Data — импорт данных из OBS в HDFS.
-
Export Data — экспорт данных из HDFS в OBS.
-
Delete — удалить данные (объект или папку).
Вкладка File Operation Records:
View Log — просмотр журнала логов по операции.
Jobs
На вкладке Jobs расположен список и управление всеми созданными и запущенными вами заданиями.
-
Create — создать новое задание.
-
Delete — удалить задание(-ия).
-
Фильтрация по дате создания задания.
-
All statuses — фильтрация по статусу задания («All statuses», «Successful», «Undefined», «Killed» и «Failed»).
-
All types — фильтрация по типу задания. Если тип задания DistCp — относится к импорту/экспорту объектов в/из HDFS.
-
Фильтрация по названию задания.
-
View Log — просмотр журнала логов.
-
View Details — подробная информация о задании.
-
More — можно выполнить следующие действия:
-
Stop — остановить запущенное задание.
-
Delete — удалить задание.
-

Tenants
Кластер MRS предоставляет различные ресурсы и услуги для совместного использования несколькими отделами или приложениями. Тенанты (tenants) — это логическая сущность, имеющая возможность использовать ресурсы и сервисы.
В настоящее время функцию использования тенантов поддерживают только аналитические кластеры (analysis clusters).
Доступность данной вкладки зависит от того, синхронизирован или нет кластер с сервисом IAM. Если не синхронизирован, то управление тенантами возможно только через MRS Manager. Ниже пример вкладки Tenants после процедуры синхронизации.
Вкладка Tenants:
-
Create Tenant — создать новый тенант.
-
Restore Tenant Data — при восстановлении компонентов при переустановке или после сбоев, некоторые конфигурационные данные тенанта могут сбиться. В этом случае нужно восстановить данные тенанта вручную.
-
Выберите тенант, информацию по которому нужно вывести на экран.
-
Summary — текущая вкладка с общей информацией по тенанту и выделенной на него квотой ресурсов.
-
Resources — вкладка с информацией по ресурсам и управление хранилищем HDFS.
-
Service Association — здесь представлена информация по ресурсам других компонентов, связанных с тенантом.
-
Users — на данной вкладке отображена информация о всех пользователях и группах пользователей, которые относятся к тенанту.
-
View — для просмотра статистики по тенанту выберите в поле период просмотра (для выбора нужных дат отображения выберите из списка Customize) и нажмите View.
Вкладка Resource Pool:
-
Create Resource Poll — создать пул ресурсов. В кластере MRS можно логически разделить узлы компонента Yarn, чтобы объединить несколько NodeManagers в пул ресурсов Yarn. Каждый NodeManager принадлежит только одному пулу ресурсов. По умолчанию в системе создан пул ресурсов «default». Все NodeManagers, которые не добавлены в пользовательские пулы ресурсов, принадлежат пулу ресурсов «default».
-
Modify — изменить пользовательский пул ресурсов.
-
Delete — удалить пользовательский пул ресурсов.
Вкладка Resource Distribution Policy:
-
Resource Pool — выберите из списка нужный пул ресурсов.
-
Available Resource Quota — показывает процент доступности ресурсов в пуле.
-
Capacity — процент использования вычислительных ресурсов текущего тенанта. Можно изменить данный процент через опцию Modify.
-
Maximum Capacity — процент максимального использования вычислительных ресурсов текущего тенанта. Можно изменить данный процент через опцию Modify.
-
Modify — изменить проценты использования и максимального использования ресурсов текущего тенанта.
-
Clear — очистить данные.

Вкладка Queue Configuration:
-
Maximum Applications — максимальное количество приложений. По умолчанию 1000.
-
Maximum AM Resources Percent — максимальный коэффициент ресурсов, которые могут быть использованы для Application Master (от 0 до 1).
-
Minimum User Resource Upper-Limit Percent (%) — минимальный процент использования ресурсов.
-
User Resource Upper-Limit Factor — максимальный предел использования ресурсов пользователем.
-
Status — статус очереди.
-
Default Resource Pool — пул ресурсов, используемый очередью.
-
Modify — изменить настройки очереди (все описанные выше поля).
Backup & Restoration
На вкладке Backup & Restoration можно создавать резервные копии кластера, а также восстанавливать кластер из сохраненных ранее копий.
Доступность данной вкладки зависит от того, синхронизирован или нет кластер с сервисом IAM. Если не синхронизирован, то управление резервными копиями возможно только через MRS Manager. Ниже пример вкладки Backup & Restoration после процедуры синхронизации.
Вкладка Back Up Data:
-
Create Backup Task — создать задание на бэкап.
-
Start — запуск бэкапа (только для режима Manual).
-
Modify — изменить максимальное количество копий бэкапа.
-
More — выберите из списка одну из опций:
-
Stop — остановить процедуру бэкапа.
-
Delete — удалить задание.
-
Suspend/Resume — приостановить запуск задания бэкапа (только для режима Periodic).
-
View History → View Backup Path — путь к бэкапу.
-
View History → View Details — просмотреть журнал логов выполненного задания.
-
-
Back Up Now — внеочередной запуск бэкапа (только для режима Periodic).
Вкладка Restore Data:
-
Create Restoration Task — создать задание на восстановление из резервной копии.
-
View Details — посмотреть параметры задания.
-
More — выберите из списка одну из опций:
-
Delete — удалить задание.
-
View History → View Details — просмотреть журнал логов выполненного задания.
-
Bootstrap Actions
С помощью Bootstrap Action можно запускать скрипты на указанном узле кластера до или после запуска компонентов с большими данными, можно устанавливать дополнительное стороннее программное обеспечение, производить изменения рабочей среды кластера и выполнять другие настройки.
Bootstrap Action можно добавить на этапе создания кластера, а также в рамках автомасштабирования исполняющих узлов кластера.
На данной странице отображены действия, которые были настроены во время создания кластера, и статус их выполнения.
Журнал логов можно найти на главном управляющем узле (название узла вида node_master1\). Путь к журналу: /var/log/Bootstrap/.

- Dashboard
- Nodes
- Components
- Alarms
- Patches
- Files
- Jobs
- Tenants
- Backup & Restoration
- Bootstrap Actions