tocdepth

2

Создание кластера MRS

Чтобы создать кластер:

  1. В списке сервисов выберите MapReduce Service.

  2. Нажмите Buy Cluster.

  3. Выберите способ создания кластера:

    • Quick Config — с предустановленными настройками.

    • Custom Config — с гибким управлением настройками кластера.

Создать кластер с помощью Quick Config

  1. Выберите вкладку Quick Config.

  2. В поле Cluster Name введите название кластера.

  3. В поле Cluster Version выберите версию кластера.

  4. В поле Component выберите тип кластера:

  5. В блоке Cluster Node определите количество узлов кластера и их конфигурацию:

    • Master — управляющий узел. По умолчанию в кластере три управляющих узла.

    • Streaming Core, Analysis Core или ClickHouse — узлы для обработки и хранения данных. Тип узла зависит от выбранного кластера.

      Чтобы изменить конфигурацию узла, нажмите Изменить (Edit). От конфигурации зависит число ядер, объем памяти, размер дисков и пропускная способность узла.

  6. Введите и подтвердите пароль. Пароль будет единым для авторизации как в узле кластера, так и в MRS Manager.

    Username для авторизации в узле (в сервере ECS) — «root», а для авторизации в MRS Manager — «admin».

  7. Проверьте настройки создаваемого кластера в окне справа.

    Внимание

    При быстром варианте создания кластера проверка аутентификации Kerberos по умолчанию включена. Если нужен кластер с отключенной проверкой, перейдите к созданию кластера с пользовательскими настройками — Custom Config.

    В этом окне приведены полные настройки кластера: параметры настройки аппаратного и программного обеспечения, конфигурация управляющих и прочих узлов.

  8. Чтобы включить защищенное соединение, активируйте опцию Secure Communications.

  9. Нажмите Buy Now.

Создание кластера занимает несколько минут. После создания статус кластера изменится с Starting на Running.

Создать кластер с помощью Custom Config

Выберите вкладку Custom Config.

Подготовка кластера состоит из трех этапов:

  1. Configure Software — конфигурация программного обеспечения.

  2. Configure Hardware — конфигурация аппаратного обеспечения.

  3. Set Advanced Options — выбор расширенных настроек.

Configure Software

На этом этапе задаются параметры программного обеспечения кластера.

  1. В поле Cluster Name введите название название.

  2. В поле Cluster Version выберите версию кластера.

  3. В поле Cluster Type выберите тип кластера:

    • Analysis Cluster — для анализа данных в автономном режиме, обеспечивается работой компонентов Hadoop.

    • Streaming Cluster — для выполнения потоковых (streaming) задач.

    • Hybrid Cluster — как для потоковых, так и для исполняемых в автономном режиме задач. Этот тип сочетает в себе возможности кластеров «Analysis» и «Streaming».

    • Custom — для выбора компонентов в ручном режиме.

  4. Выберите компоненты для установки.

  5. Нажмите Next.

Configure Hardware

Задайте параметры аппаратного обеспечения кластера:

  1. AZ — выберите зону доступности.

  2. VPC — выберите виртуальную сеть. Нажмите View VPC для управления сетями или создания новой сети. Чтобы обновить список, нажмите Обновить (Refresh).

  3. Subnet — выберите подсеть.

  4. Security Group — выберите из списка группу безопасности или оставьте группу по умолчанию. Нажмите Manage Security Group для управления группами или создания новой группы безопасности. Чтобы обновить список, нажмите Обновить (Refresh).

  5. EIP — выберите IP-адрес или оставьте Bind later, если EIP не требуется. Нажмите Manage EIP для управления IP-адресами или создания нового адреса. Чтобы обновить список, нажмите Обновить (Refresh).

  6. Enterprise Project — выберите проект, в который будет добавлен кластер.

  7. (Опционально) Common Node — выберите шаблон конфигурации кластера.

  8. Определите количество и конфигурацию узлов кластера в блоке Cluster Node:

    • Master — управляющий узел. По умолчанию в кластере два управляющих узла.

    • Analysis Core или Streaming Core — узлы для обработки и хранения данных.

    • Analysis Task или Streaming Task — узлы для обработки данных.

    Примечание

    Чтобы изменить характеристики, нажмите Изменить (Edit). От конфигурации зависит число ядер, объем памяти, размер дисков и пропускная способность узла.

  9. Нажмите Next.

Set Advanced Options

При необходимости настройте автомасштабирование, представительство, оповещения и другие расширенные параметры:

  1. Auto Scaling — функция автомасштабирования позволяет определить количество рабочих узлов, которое можно автоматически увеличить или уменьшить в зависимости от загрузки сервиса или временного диапазона, что обеспечивает бесперебойную работу сервисов.

    Примечание

    Автомасштабирование можно настроить только для рабочих узлов кластера. Для добавления узлов вернитесь на предыдущий шаг Configure Hardware и добавьте узлы для Analysis Task и/или Streaming Task.

    Для настройки автомасштабирования активируйте переключатель и выберите, какие из правил масштабирования нужно добавить:

    1. Default Node Range — минимальное и максимальное количество узлов в Analysis и/или Streaming task по умолчанию.

    2. Add Resource Plan — временной интервал и диапазон количества узлов.

    3. Add Auto Scaling Rule — правила на увеличение или на уменьшение количества рабочих узлов.

    4. Add Automation Script — скрипт, который будет запущен на нужном узле (Master, Analysis Core, Streaming Core, Analysis Task или Streaming Task) до или после процедуры автомасштабирования. Скрипт должен быть предварительно загружен в бакет OBS.

      См.также

      Как создать бакет и загрузить в него объекты

      ../_images/s__analysis-task.jpeg

  2. Agency — задайте привязку представительства. Представительство позволяет ECS или BMS управлять ресурсами MRS. Подробнее в инструкции Accessing OBS Using an ECS Agency.

  3. Alarm — если функция сигнализации включена, администратор кластера сможет своевременно получать уведомления об обнаружении неисправностей или неправильной работе кластера.

    • Rule Name — название правила для отправки сообщений. Может содержать только цифры, буквы, дефисы и подчеркивания.

    • Topic Name — выберите существующую тему или создайте новую. Чтобы доставлять сообщения, опубликованные в теме, необходимо добавить подписчика в эту тему. Подробнее в инструкции Adding Subscriptions to a Topic.

  4. Kerberos Authentication — задайте режим проверки подлинности:

    • аутентификация Kerberos (режим безопасности) — переключатель активирован;

    • простая аутентификация (обычный режим) — переключатель деактивирован.

  5. В поле Login Mode выберите один из режимов аутентификации в узле (на сервере ECS) — Password или Key Pair:

    • Password: в полях Password и Confirm Password введите и подтвердите пароль.

    • Key Pair: выберите из списка ключевую пару. Нажмите View Key Pair для создания новой пары ключей. Для обновления списка воспользуйтесь значком Обновить (Refresh). Активируйте чекбокс с соглашением.

  6. Введите и подтвердите пароль для авторизации в MRS Manager.

    Примечание

    По умолчанию для авторизации в MRS Manager используется логин «admin».

  7. Secure Communications — включите защищенное соединение.

  8. Проверьте настройки кластера в окне справа и нажмите Buy Now.

Создание кластера занимает несколько минут. После создания статус кластера изменится с Starting на Running.

Запустили Evolution free tier
для Dev & Test
Получить