Аналитический кластер, потоковый кластер и гибридный кластер, предоставляемые MRS, используют фиксированные шаблоны для развертывания процессов кластера. Поэтому вы не можете настраивать сервисные процессы на узлах управления и узлах контроля. Если вы хотите настроить развертывание кластера, установите Тип кластера на Пользовательская при создании кластера. Таким образом, вы можете настроить режим развертывания экземпляров процессов на узлах управления и узлах контроля в кластере. Только MRS 3.x и более поздние версии поддерживают создание кластеров в пользовательской топологии.
Пользовательский кластер предоставляет следующие функции:
- Разделённое развертывание ролей управления и контроля: роли управления и контроля развертываются на разных узлах Master.
- Совместное развертывание ролей управления и контроля: роли управления и контроля совместно развертываются на узле Master.
- ZooKeeper развернут на отдельном узле для повышения надёжности.
- Компоненты развертываются отдельно, чтобы избежать конкуренции за ресурсы.
Роли в кластере MRS:
- Узел управления (MN): это узел для установки Manager (системы управления кластером MRS). Он предоставляет единый вход доступа. Manager централизованно управляет узлами и сервисами, развернутыми в кластере.
- Узел контроля (CN): контролирует и наблюдает за тем, как узлы данных хранят и принимают данные, отправляют статус процессов и предоставляют другие общие функции. Узлы контроля MRS включают HMaster, HiveServer, ResourceManager, NameNode, JournalNode и SlapdServer.
- Узел данных (DN): узел данных выполняет инструкции, отправленные узлом управления, сообщает о статусе задач, хранит данные и предоставляет другие общие функции. Узлы данных MRS включают DataNode, RegionServer и NodeManager.
Настройка кластера
- Войдите в консоль управления MRS.
- Щелкните Создать кластер. Отображается страница создания кластера.
- Щелкните Пользовательская конфигурация вкладка.
- Настройте базовую информацию о кластере. Для получения подробной информации о параметрах см Конфигурации программного обеспечения.
- Регион: Сохраните значение по умолчанию.
- Имя кластера: Вы можете использовать имя по умолчанию. Однако рекомендуется включить аббревиатуру названия проекта или дату для удобства запоминания и лёгкого различения, например, mrs_20180321.
- Версия кластера: В настоящее время только MRS 3.x доступен.
- Тип кластера: Выберите Пользовательский и выберите необходимые компоненты.
- Щелкните Далее. Настройте информацию об оборудовании.
- AZ: Оставьте значение по умолчанию.
- Enterprise Проект: Оставьте значение по умолчанию.
- VPC: Оставьте значение по умолчанию. Если доступный VPC отсутствует, нажмите Просмотр VPC для доступа к консоли VPC и создания нового VPC.
- Подсеть: Оставьте значение по умолчанию.
- Группа безопасности: Выберите Автосоздание.
- EIP: Выберите Привязать позже.
- Общий узел: Для получения подробной информации, см. Описание пользовательского шаблона Кластера.
- Количество узлов: Настройте количество экземпляров кластера в зависимости от объёма сервиса. Для получения подробностей см. Таблица 2.
- Спецификации экземпляров: Нажмите
для настройки спецификаций экземпляров, типов хранилища системного диска и диска с данными, и объёма хранения. - Регулировка топологии: Если режим развертывания в Общий узел не соответствует требованиям, вам необходимо вручную установить некоторые экземпляры, которые не развёрнуты по умолчанию, или вам необходимо вручную установить некоторые экземпляры, установить Регулировка топологии для Включить и скорректировать режим развертывания экземпляров в соответствии с требованиями сервиса. Для получения подробностей см. Topology Adjustment for a Custom Cluster.
- Click Next и установите расширенные параметры.
Для получения подробной информации о параметрах смотрите Advanced Options.
- Click Create Now.
Если аутентификация Kerberos включена для кластера, проверьте, требуется ли аутентификация Kerberos. Если да, нажмите Continue. Если нет, нажмите Back чтобы отключить аутентификацию Kerberos и затем создать кластер.
- Click Back to Cluster List чтобы просмотреть статус кластера.
Создание кластера занимает некоторое время. Начальный статус кластера Запуск. После успешного создания кластера статус кластера становится Работает.
Описание пользовательского шаблона кластера
Общий узел | Описание | Диапазон узлов |
|---|---|---|
Компактный | Роль управления и роль контроля развернуты на главном узле, а экземпляры данных развернуты в той же группе узлов. Этот режим развертывания применяется в сценариях, когда количество контрольных узлов менее 100, уменьшая затраты. |
|
OMS-separate | Роль управления и роль контроля развернуты на разных узлах Master, а экземпляры данных развернуты в той же группе узлов. Этот режим развертывания применим к кластеру с 100–500 узлами и обеспечивает более высокую производительность в сценариях высокой конкуренции нагрузки. |
|
Full-size | Роль управления и роль контроля развернуты на разных узлах Master, а экземпляры данных развернуты в разных группах узлов. Этот режим развертывания применим к кластеру из более чем 500 узлов. Компоненты могут развертываться отдельно, что позволяет использовать более крупный масштаб кластера. |
|
Принцип развертывания узлов | Сценарий применения | Сетевое правило | |
|---|---|---|---|
Узлы управления, контрольные узлы и узлы данных развертываются отдельно. (Эта схема требует минимум восемь узлов.) | MN × 2 + CN × 9 + DN × n | (Рекомендовано) Эта схема используется, когда количество узлов данных от 500 до 2000. |
|
MN × 2 + CN × 5 + DN × n | (Рекомендовано) Эта схема используется, когда количество узлов данных от 100 до 500. | ||
MN × 2 + CN × 3 + DN × n | (Recommended) Эта схема используется, когда количество дата‑нодов от 30 до 100. | ||
Управляющие узлы и контрольные узлы развёртываются совместно, а дата‑ноды – раздельно. | (MN+CN) × 3 + DN × n | (Recommended) Эта схема используется, когда количество дата‑нодов от 3 до 30. | Узлы в кластере развёртываются в одной подсети и взаимосвязаны друг с другом на уровне Layer 2 через агрегирующие коммутаторы. |
Управляющие узлы, контрольные узлы и дата‑ноды развёртываются совместно. |
NOTE: Этот шаблон не рекомендуется использовать в производственной или коммерческой среде.
| Узлы в кластере развернуты в одной подсети и соединены друг с другом на уровне Layer 2 через агрегирующие коммутаторы. | |
Настройка топологии для пользовательского кластера
Сервис | Зависимость | Роль | Рекомендации по развертыванию роли | Описание |
|---|---|---|---|---|
OMSServer | - | OMSServer | Эту роль можно развернуть на узле Master и её нельзя изменить. | - |
ClickHouse | Зависит от ZooKeeper. | CHS (ClickHouseServer) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли для развертывания: чётное число в диапазоне от 2 до 256 | Группа узлов, не являющихся Master, с назначенной этой ролью считается Core-узлом. |
CLB (ClickHouseBalancer) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли для развертывания: от 2 до 256 | - | ||
ZooKeeper | - | QP(quorumpeer) | Эта роль может быть развернута только на узле Master. Количество экземпляров роли для развертывания: от 3 до 9, с шагом 2 | - |
Hadoop | Зависит от ZooKeeper. | NN(NameNode) | Эту роль можно развернуть только на узле Master. Количество экземпляров роли для развертывания: 2 | - |
HFS (HttpFS) | Эту роль можно развернуть только на узле Master. Количество экземпляров роли для развертывания: 0 до 10 | - | ||
JN(JournalNode) | Эту роль можно развернуть только на узле Master. Количество экземпляров роли для развертывания: 3 до 60, с шагом 2 | - | ||
DN(DataNode) | Эту роль можно развернуть на всех узлах. Количество экземпляров роли для развертывания: 3 до 10,000 | Группа узлов, не являющихся Master, с этой ролью считается Core‑узлом. | ||
RM(ResourceManager) | Эту роль можно развернуть только на узле Master. Количество экземпляров роли для развёртывания: 2 | - | ||
NM(NodeManager) | Эту роль можно развернуть на всех узлах. Количество экземпляров роли для развёртывания: 3 до 10,000 | - | ||
JHS(JobHistoryServer) | Эту роль можно развернуть только на узле Master. Количество экземпляров роли для развёртывания: 1 до 2 | - | ||
TLS(TimelineServer) | Эту роль можно развернуть только на узле Master. Количество экземпляров роли для развёртывания: 0 до 1 | - | ||
Presto | Зависит от Hive. | PCD(Coordinator) | Эту роль можно развернуть только на узле Master. Количество экземпляров роли для развертывания: 2 | - |
PWK(Worker) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли для развертывания: 1 до 10,000 | - | ||
Spark2x |
| JS2X(JDBCServer2x) | Эта роль может быть развернута только на узле Master. Количество экземпляров роли для развертывания: 2 до 10 | - |
JH2X(JobHistory2x) | Эта роль может быть развернута только на узле Master. Количество экземпляров роли для развертывания: 2 | - | ||
SR2X(SparkResource2x) | Эта роль может быть развернута только на узле Master. Количество экземпляров роли для развертывания: 2 до 50 | - | ||
IS2X(IndexServer2x) | (Optional) Эта роль может быть развернута только на узле Master. Количество экземпляров роли для развертывания: от 0 до 2, с шагом 2 | - | ||
HBase | Зависит от Hadoop. | HM(HMaster) | Эта роль может быть развернута только на узле Master. Количество экземпляров роли для развертывания: 2 | - |
TS(ThriftServer) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли для развертывания: от 0 до 10,000 | - | ||
RT(RESTServer) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли для развертывания: от 0 до 10,000 | - | ||
RS(RegionServer) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли для развертывания: от 3 до 10,000 | - | ||
TS1(Thrift1Server) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли для развертывания: от 0 до 10,000 | Если сервис Hue установлен в кластере и требуется использовать HBase в веб‑интерфейсе Hue, установите этот экземпляр для сервиса HBase. | ||
Hive |
| MS(MetaStore) | Эта роль может быть развернута только на узле Master. Количество экземпляров роли для развертывания: от 2 до 10 | - |
WH (WebHCat) | Эта роль может быть развернута только на узле Master. Количество экземпляров роли для развертывания: от 1 до 10 | - | ||
HS(HiveServer) | Эта роль может быть развернута только на узле Master. Количество экземпляров роли для развертывания: от 2 до 80 | - | ||
Hue | Зависит от DBService. | H(Hue) | Эта роль может быть развернута только на узле Master. Количество экземпляров роли для развертывания: 2 | - |
Sqoop | Зависит от Hadoop. | SC(SqoopClient) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли для развертывания: 1 до 10,000 | - |
Kafka | Зависит от ZooKeeper. | B(Broker) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли для развертывания: 3 до 10,000 | - |
Flume | - | MS(MonitorServer) | Эта роль может быть развернута только на узле Master. Количество экземпляров роли для развертывания: 1 до 2 | - |
F(Flume) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли для развертывания: 1 до 10,000 | Группа узлов non-Master с назначенной этой ролью считается узлом Core. | ||
Tez |
| TUI(TezUI) | Эта роль может быть развернута только на узле Master. Количество экземпляров роли, которые необходимо развернуть: 1 до 2 | - |
Flink |
| FR(FlinkResource) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли, которые необходимо развернуть: 1 до 10,000 | - |
FS(FlinkServer) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли, которые необходимо развернуть: 0 до 2 | - | ||
Oozie |
| O(oozie) | Эта роль может быть развернута только на узле Master. Количество экземпляров роли для развертывания: 2 | - |
Impala |
| StateStore | Эта роль может быть развернута только на узле Master. Количество экземпляров роли для развертывания: 1 | - |
Catalog | Эта роль может быть развернута только на узле Master. Количество экземпляров роли для развертывания: 1 | - | ||
Impalad | Эта роль может быть развернута на всех узлах. Количество экземпляров роли, которые нужно развернуть: 1 до 10,000 | - | ||
Kudu | - | KuduMaster | Эта роль может быть развернута только на узле Master. Количество экземпляров роли, которые нужно развернуть: 3 или 5 | - |
KuduTserver | Эта роль может быть развернута на всех узлах. Количество экземпляров роли, которые нужно развернуть: 3 до 10,000 | - | ||
Ranger | Зависит от DBService. | RA(RangerAdmin) | Эта роль может быть развернута только на узле Master. Количество экземпляров роли, которые нужно развернуть: 1 до 2 | - |
USC(UserSync) | Эта роль может быть развернута только на узле Master. Количество экземпляров роли для развертывания: 1 | - | ||
TSC (TagSync) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли для развертывания: 0 до 1 | - | ||
HetuEngine (доступно только для MRS 3.1.2-LTS.3 и более поздних версий) |
| HSB(HSBroker) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли для развертывания: от 2 до 50 | - |
HSC(HSConsole) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли для развертывания: 2 | - | ||
HSF(HSFabric) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли для развертывания: от 0 до 50 | - | ||
QAS (доступно только для MRS 3.2.0-LTS.1 и более новых версий) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли для развертывания: от 0 до 2 | - | ||
IoTDB (доступно только для MRS 3.2.0-LTS.1 и более новых версий) | Зависит от KrbServer. | ConfigNode (CN) | Эта роль может быть развернута только на узлах Master. Количество экземпляров роли, которые будут развернуты: от 3 до 9, с шагом 2 | - |
IoTDBServer (IoTDBS) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли, которые будут развернуты: от 3 до 256 | - | ||
CDL (доступно только для MRS 3.2.0-LTS.1 и более поздних версий) |
| CDLConnector (CC) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли, которые будут развернуты: от 1 до 256 | - |
CDLService (CS) | Эта роль может быть развернута на всех узлах. Количество экземпляров роли для развертывания: от 1 до 2 | - |