Создание кластера MRS
Чтобы создать кластер:
-
В списке сервисов выберите MapReduce Service.
-
Нажмите Buy Cluster.
-
Выберите способ создания кластера:
-
Quick Config — с предустановленными настройками.
-
Custom Config — с гибким управлением настройками кластера.
-
Создать кластер с помощью Quick Config
-
Выберите вкладку Quick Config.
-
В поле Cluster Name введите название кластера.
-
В поле Cluster Version выберите версию кластера.
-
В поле Component выберите тип кластера:
-
Hadoop Analysis Cluster — подробнее об архитектуре и принципах работы Hadoop.
-
HBase Query Cluster — подробнее об архитектуре и принципах работы HBase.
-
Kafka Streaming Cluster — подробнее об архитектуре и принципах работы Kafka.
-
ClickHouse Cluster — подробнее о принципах работы ClickHouse.
-
-
В блоке Cluster Node определите количество узлов кластера и их конфигурацию:
-
Master — управляющий узел. По умолчанию в кластере три управляющих узла.
-
Streaming Core, Analysis Core или ClickHouse — узлы для обработки и хранения данных. Тип узла зависит от выбранного кластера.
Чтобы изменить конфигурацию узла, нажмите
(Edit). От конфигурации зависит число ядер, объем памяти, размер дисков и пропускная способность узла.
-
-
Введите и подтвердите пароль. Пароль будет единым для авторизации как в узле кластера, так и в MRS Manager.
Username для авторизации в узле (в сервере ECS) — «root», а для авторизации в MRS Manager — «admin».
-
Проверьте настройки создаваемого кластера в окне справа.
ВниманиеПри быстром варианте создания кластера проверка аутентификации Kerberos по умолчанию включена. Если нужен кластер с отключенной проверкой, перейдите к созданию кластера с пользовательскими настройками — Custom Config.
В этом окне приведены полные настройки кластера: параметры настройки аппаратного и программного обеспечения, конфигурация управляющих и прочих узлов.
-
Чтобы включить защищенное соединение, активируйте опцию Secure Communications.
-
Нажмите Buy Now.
Создание кластера занимает несколько минут. После создания статус кластера изменится с Starting на Running.
Создать кластер с помощью Custom Config
Выберите вкладку Custom Config.
Подготовка кластера состоит из трех этапов:
-
Configure Software — конфигурация программного обеспечения.
-
Configure Hardware — конфигурация аппаратного обеспечения.
-
Set Advanced Options — выбор расширенных настроек.
Configure Software
На этом этапе задаются параметры программного обеспечения кластера.
-
В поле Cluster Name введите название название.
-
В поле Cluster Version выберите версию кластера.
-
В поле Cluster Type выберите тип кластера:
-
Analysis Cluster — для анализа данных в автономном режиме, обеспечивается работой компонентов Hadoop.
-
Streaming Cluster — для выполнения потоковых (streaming) задач.
-
Hybrid Cluster — как для потоковых, так и для исполняемых в автономном режиме задач. Этот тип сочетает в себе возможности кластеров «Analysis» и «Streaming».
-
Custom — для выбора компонентов в ручном режиме.
-
-
Выберите компоненты для установки.
-
Нажмите Next.
Configure Hardware
Задайте параметры аппаратного обеспечения кластера:
-
AZ — выберите зону доступности.
-
VPC — выберите виртуальную сеть. Нажмите View VPC для управления сетями или создания новой сети. Чтобы обновить список, нажмите
(Refresh).
-
Subnet — выберите подсеть.
-
Security Group — выберите из списка группу безопасности или оставьте группу по умолчанию. Нажмите Manage Security Group для управления группами или создания новой группы безопасности. Чтобы обновить список, нажмите
(Refresh).
-
EIP — выберите IP-адрес или оставьте Bind later, если EIP не требуется. Нажмите Manage EIP для управления IP-адресами или создания нового адреса. Чтобы обновить список, нажмите
(Refresh).
-
Enterprise Project — выберите проект, в который будет добавлен кластер.
-
(Опционально) Common Node — выберите шаблон конфигурации кластера.
-
Определите количество и конфигурацию узлов кластера в блоке Cluster Node:
-
Master — управляющий узел. По умолчанию в кластере два управляющих узла.
-
Analysis Core или Streaming Core — узлы для обработки и хранения данных.
-
Analysis Task или Streaming Task — узлы для обработки данных.
ПримечаниеЧтобы изменить характеристики, нажмите
(Edit). От конфигурации зависит число ядер, объем памяти, размер дисков и пропускная способность узла.
-
-
Нажмите Next.
Set Advanced Options
При необходимости настройте автомасштабирование, представительство, оповещения и другие расширенные параметры:
-
Auto Scaling — функция автомасштабирования позволяет определить количество рабочих узлов, которое можно автоматически увеличить или уменьшить в зависимости от загрузки сервиса или временного диапазона, что обеспечивает бесперебойную работу сервисов.
ПримечаниеАвтомасштабирование можно настроить только для рабочих узлов кластера. Для добавления узлов вернитесь на предыдущий шаг Configure Hardware и добавьте узлы для Analysis Task и/или Streaming Task.
Для настройки автомасштабирования активируйте переключатель и выберите, какие из правил масштабирования нужно добавить:
-
Default Node Range — минимальное и максимальное количество узлов в Analysis и/или Streaming task по умолчанию.
-
Add Resource Plan — временной интервал и диапазон количества узлов.
-
Add Auto Scaling Rule — правила на увеличение или на уменьшение количества рабочих узлов.
-
Add Automation Script — скрипт, который будет запущен на нужном узле (Master, Analysis Core, Streaming Core, Analysis Task или Streaming Task) до или после процедуры автомасштабирования. Скрипт должен быть предварительно загружен в бакет OBS.
-
-
Agency — задайте привязку представительства. Представительство позволяет ECS или BMS управлять ресурсами MRS. Подробнее в инструкции Accessing OBS Using an ECS Agency.
-
Alarm — если функция сигнализации включена, администратор кластера сможет своевременно получать уведомления об обнаружении неисправностей или неправильной работе кластера.
-
Rule Name — название правила для отправки сообщений. Может содержать только цифры, буквы, дефисы и подчеркивания.
-
Topic Name — выберите существующую тему или создайте новую. Чтобы доставлять сообщения, опубликованные в теме, необходимо добавить подписчика в эту тему. Подробнее в инструкции Adding Subscriptions to a Topic.
-
-
Kerberos Authentication — задайте режим проверки подлинности:
-
аутентификация Kerberos (режим безопасности) — переключатель активирован;
-
простая аутентификация (обычный режим) — переключатель деактивирован.
-
-
В поле Login Mode выберите один из режимов аутентификации в узле (на сервере ECS) — Password или Key Pair:
-
Password: в полях Password и Confirm Password введите и подтвердите пароль.
-
Key Pair: выберите из списка ключевую пару. Нажмите View Key Pair для создания новой пары ключей. Для обновления списка воспользуйтесь значком
(Refresh). Активируйте чекбокс с соглашением.
-
-
Введите и подтвердите пароль для авторизации в MRS Manager.
ПримечаниеПо умолчанию для авторизации в MRS Manager используется логин «admin».
-
Secure Communications — включите защищенное соединение.
-
Проверьте настройки кластера в окне справа и нажмите Buy Now.
Создание кластера занимает несколько минут. После создания статус кластера изменится с Starting на Running.
- Создать кластер с помощью Quick Config
- Создать кластер с помощью Custom Config