tocdepth

2

Просмотр и изменение кластера

Для просмотра и изменения кластера необходимо выполнить следующую последовательность действий:

1. В списке сервисов выберите MapReduce Service.

2. В боковом меню слева выберите Clusters → Active Clusters.

3. Нажмите на название кластера.

4. Настройки кластера располагаются на следующих вкладках:

   1. Dashboard — на данной вкладке можно узнать базовую информацию о кластере, а также произвести мониторинг основных метрик.

   2. Nodes — список и управление узлами кластера в разрезе вида и назначения узла.

   3. Components — отображается список компонентов кластера.

   4. Alarms — на данной вкладке отображаются ошибки, такие как некорректная работа кластера или системные ошибки, а также можно посмотреть операции, совершенные в кластере, и настроить правила оповещения.

   5. Patches — сервис MRS предоставляет унифицированные функции развертывания исправлений и управления ими, помогая предотвращать и решать проблемы. Патчи используются только для устранения неполадок и не предоставляют новых функций кластеру.

   6. Files — на данной вкладке осуществляется управление каталогами и файлами HDFS.

   7. Jobs — создание и управление заданиями.

   8. Tenants — доступ к кластеру MRS можно настроить для различных пользователей и приложений, используя тенанты. На вкладке Tenants происходит создание новых тенантов, управление тенантами и распределение ресурсов между ними.

   9. Backup & Restoration — на данной вкладке есть возможность произвести процедуру резервного копирования данных кластера, а также восстановить данные из сохраненной ранее копии.

   10. Bootstrap Actions — отображается список Bootstrap Actions, который был добавлен на этапе создания кластера.

       

5. В строке меню кластера можно сделать следующее:

   1. — посмотреть список задач.

   2. — перейти к списку аварийных оповещений со статусом «Critical».

   3. — перейти к списку аварийных оповещений со статусом «Major».

   4. — перейти к списку аварийных оповещений со статусом «Minor».

   5. — перейти к списку аварийных оповещений со статусом «Suggestion».

   6. Download Authentication Credential — скачать файлы для прохождения аутентификации.

   7. Management Operations — выполнить следующие операции:

      • Start All Components — запуск всех компонентов кластера.

      • Stop All Components — остановка всех компонентов кластера.

      • Perform Rolling Cluster Restart — выполнение скользящего обновления кластера.

      • Check Cluster Health Status — проверка статуса исправности кластера.

      • Show Cluster Health Check Report — показать отчет статуса исправности кластера.

   8. Configure — выполнить следующие операции:

      • Synchronize Configuration — запуск процедуры синхронизации настроек кластера.

      • Export Cluster Configuration — экспорт настроек кластера в XML-файл.

   9. OM — выполнить следующие операции:

      • Authorize OM или Cancel Authorization — выдача и отмена временного разрешения на авторизацию.

      • Share Log — выгрузка журнала логов.

      • Metric Sharing — выгрузка метрик.

   

Dashboard

На вкладке Dashboard можно узнать базовую информацию о кластере, а также произвести мониторинг основных метрик.

Примечание

Вид данной вкладки зависит от того, синхронизирован или нет кластер с сервисом IAM. Если не синхронизирован, мониторинг основных показателей можно увидеть только через MRS Manager. Ниже пример вкладки Dashboard кластера после процедуры синхронизации.

• Cluster Name — название кластера.

• Cluster Status — статус кластера.

• MRS Manager — доступ в MRS Manager.

  Для доступа необходим свободный IP-адрес. Если доступ уже настроен, то привязанный к кластеру EIP будет отражаться в поле EIP.

• Billing Mode — режим оплаты за сервис.

• Cluster Version — используемая версия кластера.

• Cluster Type — тип кластера.

• Cluster ID — идентификационный номер кластера.

• Created — дата и время создания кластера.

• AZ — зона доступности.

• Subnet — подсеть.

• VPC — сеть.

• EIP — внешний IP-адрес, привязанный к кластеру в случае подключения к MRS Manager.

  Для изменения или добавления правил группы безопасности кластера нажмите на Add Security Group Rule.

• Kerberos Authentication — отражает, включена (Enabled) или нет (Disabled) проверка подлинности Kerberos.

• Logging — опция записи логов.

• Security Group — группа безопасности создается автоматически или выбирается нужная на этапе создания кластера.

• IAM User Sync — после запуска синхронизации пользователи IAM, у которых есть право доступа к MRS, будут синхронизированы (статус сменится с «Not Synchronized» на «Synchronized»).

Nodes

На вкладке Nodes расположена информация об узлах кластера в разрезе их назначения.

1. Configure Task Node — нажмите на кнопку, чтобы добавить новый рабочий узел.

2. Node Operation — можно выполнить следующие действия:

   • Start All Roles — запуск всех ролей. Для проверки наличия неисправного узла нужно остановить все роли, а потом снова их запустить после того, как ошибка устранена.

   • Stop All Roles — остановка всех ролей.

   • Isolate Host — узел можно временно исключить из числа доступных узлов кластера в некоторых ситуациях, например, если неисправный узел влияет на общую производительность кластера или если нужно исключить указанный узел при установке патчей.

     Примечание

     Управляющие узлы изолировать нельзя.

   • Cancel Host Isolation — отменить изоляцию узла.

   • Start Host Health Check — запустить проверку исправности хоста.

3. Scale Out — увеличение количества узлов.

4. Scale In — уменьшение количества узлов.

5. Auto Scaling — настройка правила автомасштабирования, а также настройка правила запуска скрипта.

   

Components

На вкладке Components расположена информация обо всех компонентах кластера и инструменты управления ими.

Примечание

Доступность данной вкладки зависит от того, синхронизирован или нет кластер с сервисом IAM. Если не синхронизирован, вкладка недоступна и информацию по компонентам можно увидеть только через MRS Manager. Ниже пример вкладки после процедуры синхронизации.

1. Download Client — нажмите для скачивания конфигурационного файла.

2. Refresh Every 30s — выберите частоту обновления информации о компонентах (обновление каждые 30 или 60 секунд, прекратить обновление).

3. Start — запуск компонента.

4. Stop — остановка компонента.

5. Restart — перезагрузка компонента.

6. При нажатии на название компонента вы попадете на страницы с информацией, мониторингом и инструментами для управления компонентом.

   

Alarms

На вкладке Alarms отображается список всех оповещений.

Вкладка Alarms:

1. Export All — экспорт списка оповещений в TXT или CSV-файл.

2. Clear Alarm — выключить оповещение.

3. Refresh Every 30s — выберите частоту обновления информации об оповещениях (обновление каждые 30 или 60 секунд, прекратить обновление).

4. All — фильтрация списка отображаемых оповещений (All, Critical, Major, Minor, Suggestion).

5. Advanced Search — расширенный поиск оповещений. Позволяет искать по таким параметрам, как: Alarm ID, Alarm Name, Alarm Status и Time Range.

6. Clear Alarm — выключить определенное оповещение.

   

Вкладка Events:

1. Export All — экспорт списка оповещений в TXT или CSV-файл.

2. Refresh Every 30s — выберите частоту обновления информации об оповещениях (обновление каждые 30 или 60 секунд, прекратить обновление).

3. Advanced Search — расширенный поиск оповещений. Позволяет искать по таким параметрам, как: Alarm ID, Alarm Name, Alarm Status и Time Range.

Вкладка Notification Rules:

1. Add Notification Rule — добавить правило оповещения.

2. Edit — изменить правило оповещения.

3. Delete — удалить правило оповещения.

Patches

На вкладке Patches будут появляться системные обновления. По мере поступления можно просматривать информацию о новом патче и принимать решение о его установке.

На данной вкладке можно произвести следующие операции:

• View Details — просмотреть информацию о патче.

• Install — установить определенный патч.

• Uninstall — откатить установку патча.

Примечание

Описанные выше опции появятся только после выпуска патча.

Files

На вкладке Files происходит управление файлами хранилища HDFS.

Вкладка HDFS File List:

1. Create Folder — создать папку.

2. Import Data — импорт данных из OBS в HDFS.

3. Export Data — экспорт данных из HDFS в OBS.

4. Delete — удалить данные (объект или папку).

   

Вкладка File Operation Records:

View Log — просмотр журнала логов по операции.

Jobs

На вкладке Jobs расположен список и управление всеми созданными и запущенными вами заданиями.

1. Create — создать новое задание.

2. Delete — удалить задание(-ия).

3. Фильтрация по дате создания задания.

4. All statuses — фильтрация по статусу задания («All statuses», «Successful», «Undefined», «Killed» и «Failed»).

5. All types — фильтрация по типу задания. Если тип задания DistCp — относится к импорту/экспорту объектов в/из HDFS.

6. Фильтрация по названию задания.

7. View Log — просмотр журнала логов.

8. View Details — подробная информация о задании.

9. More — можно выполнить следующие действия:

   • Stop — остановить запущенное задание.

   • Delete — удалить задание.

Tenants

Кластер MRS предоставляет различные ресурсы и услуги для совместного использования несколькими отделами или приложениями. Тенанты (tenants) — это логическая сущность, имеющая возможность использовать ресурсы и сервисы.

В настоящее время функцию использования тенантов поддерживают только аналитические кластеры (analysis clusters).

Примечание

Доступность данной вкладки зависит от того, синхронизирован или нет кластер с сервисом IAM. Если не синхронизирован, то управление тенантами возможно только через MRS Manager. Ниже пример вкладки Tenants после процедуры синхронизации.

Вкладка Tenants:

1. Create Tenant — создать новый тенант.

2. Restore Tenant Data — при восстановлении компонентов при переустановке или после сбоев, некоторые конфигурационные данные тенанта могут сбиться. В этом случае нужно восстановить данные тенанта вручную.

3. Выберите тенант, информацию по которому нужно вывести на экран.

4. Summary — текущая вкладка с общей информацией по тенанту и выделенной на него квотой ресурсов.

5. Resources — вкладка с информацией по ресурсам и управление хранилищем HDFS.

6. Service Association — здесь представлена информация по ресурсам других компонентов, связанных с тенантом.

7. Users — на данной вкладке отображена информация о всех пользователях и группах пользователей, которые относятся к тенанту.

8. View — для просмотра статистики по тенанту выберите в поле период просмотра (для выбора нужных дат отображения выберите из списка Customize) и нажмите View.

   

Вкладка Resource Pool:

1. Create Resource Poll — создать пул ресурсов. В кластере MRS можно логически разделить узлы компонента Yarn, чтобы объединить несколько NodeManagers в пул ресурсов Yarn. Каждый NodeManager принадлежит только одному пулу ресурсов. По умолчанию в системе создан пул ресурсов «default». Все NodeManagers, которые не добавлены в пользовательские пулы ресурсов, принадлежат пулу ресурсов «default».

2. Modify — изменить пользовательский пул ресурсов.

3. Delete — удалить пользовательский пул ресурсов.

   

Вкладка Resource Distribution Policy:

1. Resource Pool — выберите из списка нужный пул ресурсов.

2. Available Resource Quota — показывает процент доступности ресурсов в пуле.

3. Capacity — процент использования вычислительных ресурсов текущего тенанта. Можно изменить данный процент через опцию Modify.

4. Maximum Capacity — процент максимального использования вычислительных ресурсов текущего тенанта. Можно изменить данный процент через опцию Modify.

5. Modify — изменить проценты использования и максимального использования ресурсов текущего тенанта.

6. Clear — очистить данные.

Вкладка Queue Configuration:

1. Maximum Applications — максимальное количество приложений. По умолчанию 1000.

2. Maximum AM Resources Percent — максимальный коэффициент ресурсов, которые могут быть использованы для Application Master (от 0 до 1).

3. Minimum User Resource Upper-Limit Percent (%) — минимальный процент использования ресурсов.

4. User Resource Upper-Limit Factor — максимальный предел использования ресурсов пользователем.

5. Status — статус очереди.

6. Default Resource Pool — пул ресурсов, используемый очередью.

7. Modify — изменить настройки очереди (все описанные выше поля).

   

Backup & Restoration

На вкладке Backup & Restoration можно создавать резервные копии кластера, а также восстанавливать кластер из сохраненных ранее копий.

Примечание

Доступность данной вкладки зависит от того, синхронизирован или нет кластер с сервисом IAM. Если не синхронизирован, то управление резервными копиями возможно только через MRS Manager. Ниже пример вкладки Backup & Restoration после процедуры синхронизации.

Вкладка Back Up Data:

1. Create Backup Task — создать задание на бэкап.

2. Start — запуск бэкапа (только для режима Manual).

3. Modify — изменить максимальное количество копий бэкапа.

4. More — выберите из списка одну из опций:

   • Stop — остановить процедуру бэкапа.

   • Delete — удалить задание.

   • Suspend/Resume — приостановить запуск задания бэкапа (только для режима Periodic).

   • View History → View Backup Path — путь к бэкапу.

   • View History → View Details — просмотреть журнал логов выполненного задания.

5. Back Up Now — внеочередной запуск бэкапа (только для режима Periodic).

   

Вкладка Restore Data:

1. Create Restoration Task — создать задание на восстановление из резервной копии.

2. View Details — посмотреть параметры задания.

3. More — выберите из списка одну из опций:

   • Delete — удалить задание.

   • View History → View Details — просмотреть журнал логов выполненного задания.

   

Bootstrap Actions

С помощью Bootstrap Action можно запускать скрипты на указанном узле кластера до или после запуска компонентов с большими данными, можно устанавливать дополнительное стороннее программное обеспечение, производить изменения рабочей среды кластера и выполнять другие настройки.

Bootstrap Action можно добавить на этапе создания кластера, а также в рамках автомасштабирования исполняющих узлов кластера.

На данной странице отображены действия, которые были настроены во время создания кластера, и статус их выполнения.

Журнал логов можно найти на главном управляющем узле (название узла вида node_master1\). Путь к журналу: /var/log/Bootstrap/.

Была ли статья полезной?

Да Нет

Предыдущая статья

Создание кластера MRS

Следующая статья

Подключение к узлу кластера

Запустили Evolution free tier
для Dev & Test

Получить