Облачная платформаAdvanced

Создание кластера

Язык статьи: Русский
Показать оригинал
Страница переведена автоматически и может содержать неточности. Рекомендуем сверяться с английской версией.

В этом разделе описывается, как создать кластер OpenSearch. Вы можете создать кластер OpenSearch одним из следующих способов:

  • Метод 1: Создать кластер OpenSearch в консоли управления CSS.
  • Метод 2: Создать кластер OpenSearch с помощью CSS APIs. Подробности см. в разделе "Creating a Cluster" в Cloud Search Service API Reference.

Сценарии

Table 1 перечисляет ключевые параметры, отличающие различные типы кластеров.

Table 1 Параметры, отличающие различные типы кластеров

Тип кластера

Режим безопасности

Доступ по HTTPS

Доступ к Интернету

Доступ к публичной сети OpenSearch Dashboards

Кластер с отключённым режимом безопасности

Отключено

N/A

Не может быть включено

Не может быть включено

Cluster в режиме безопасности + HTTP

Включено

Отключено

Не может быть включено

Можно включить

Cluster в режиме безопасности + HTTPS

Включено

Включено

Можно включить

Можно включить

Предварительные условия

Вы спланировали конфигурацию кластера OpenSearch, следуя инструкциям в Cluster Planning.

Создание кластера

  1. Войдите в консоль управления CSS.
  2. На странице Dashboard нажмите Create Cluster в правом верхнем углу. Отобразится страница Create Cluster.

    В качестве альтернативы выберите Clusters > OpenSearch в дереве навигации слева. Нажмите Create Cluster в правом верхнем углу. Отобразится страница Create Cluster.

  3. На странице Basic Configuration настройте базовую информацию и ресурсы для кластера OpenSearch.
    Table 2 Базовые настройки кластера OpenSearch

    Параметр

    Описание

    Регион

    Выберите регион, в котором находится кластер.

    Ресурсы в разных регионах не могут взаимодействовать друг с другом через внутреннюю сеть. Для снижения сетевой задержки и более быстрого доступа к ресурсам выберите ближайший регион.

    AZ

    Выберите одну или несколько AZ, связанных с регионом кластера.

    Можно настроить не более трёх AZ. Подробную информацию об использовании нескольких AZ см. в Suggestions on Multi-AZ Deployment.

    Тип

    Выберите OpenSearch.

    Версия

    Выберите версию кластера из выпадающего списка.

    Имя

    Пользовательское имя кластера.

    Имя кластера должно начинаться с буквы и может содержать от 4 до 32 символов. Разрешены только буквы, цифры, дефисы (-) и подчеркивания (_).

    Описание кластера

    Добавьте описание кластера для удобного распознавания.

    Значение может содержать от 0 до 128 символов.

    Узлы

    Количество узлов в кластере. Узлы данных хранят данные кластера. Если в кластере нет клиентских узлов, узлы данных также должны обрабатывать запросы доступа к кластеру и аналитики данных; если нет мастер‑узлов, узлы данных также должны обеспечивать управление кластером.

    • Если мастер‑узлы настроены, количество узлов данных может быть от 1 до 200.
    • Если мастер‑узлы не настроены, количество узлов данных может быть от 1 до 32.

    Принципы:

    • Для обеспечения высокой доступности сервиса и предотвращения перегрузки отдельных узлов, кластер с одной AZ должен иметь как минимум три узла данных; кластер с двумя AZ должен иметь как минимум четыре узла данных (по два в каждой AZ); и кластер с тремя AZ должен иметь как минимум три узла данных (по одному в каждой AZ).
    • Для оптимальной производительности количество узлов данных должно быть целым кратным числу AZ, например, шесть узлов данных для кластера с тремя AZ. Это помогает предотвратить неравномерное распределение данных и обеспечить оптимальную производительность запросов и загрузки.

    CPU Architecture

    x86. Поддерживаемые типы зависят от фактической региональной среды.

    Node Specifications

    Флейвор узла данных. Вы можете выбрать флейвор узла в соответствии с вашими потребностями. Каждый кластер поддерживает только один флейвор.

    Node Storage Type

    Если вы выбираете EVS для хранения узла, вам необходимо дополнительно выбрать тип диска EVS для узлов данных кластера. Поддерживаемые типы хранения узлов: Common I/O, High I/O, Ultra-high I/O.

    Node Storage Capacity

    Ёмкость хранения узла данных. Диапазон её значений зависит от спецификаций узла.

    Ёмкость хранения узла должна быть кратна 20.

    Master node

    master node отвечает за важные задачи управления кластером, такие как управление метаданными, создание и удаление индексов, а также распределение шардов. Он играет критическую роль в управлении метаданными, управлении узлами, обеспечении стабильности и контроле операций кластера для крупномасштабных кластеров.

    После включения master node укажите Node Specifications, Nodes и Node Storage Type. Значение Nodes должно быть нечётным числом, не менее 3. Поддерживается до девяти узлов. Значение Node Storage Capacity фиксировано. Вы можете выбрать тип хранения в соответствии с вашими потребностями.

    Client node

    Client nodes принимают и координируют внешние запросы, такие как запросы поиска и записи. Они играют важную роль в обработке запросов с высокой нагрузкой, сложных агрегаций, управлении большим количеством шардов и повышении масштабируемости кластера.

    После включения client node укажите Node Specifications, Nodes и Node Storage Type. Значение Nodes находится в диапазоне от 1 до 64. Значение Node Storage Capacity фиксировано. Вы можете выбрать тип хранения в соответствии с вашими потребностями.

    Чтобы обеспечить высокую доступность сервиса и предотвратить перегрузку отдельного узла в развертывании с несколькими AZ, количество клиентских узлов должно быть больше или равно количеству AZ. (Для кластера, охватывающего два AZ, это минимум два клиентских узла; для развертывания с тремя AZ — минимум три клиентских узла.)

    Узел холодных данных

    Узлы холодных данных используются для хранения данных, нечувствительных к задержке запросов, в больших объёмах. Они предоставляют эффективный способ управления крупными наборами данных и снижения расходов на хранение.

    После включения узлов холодных данных настройте Node Specifications, Nodes, Node Storage Type и Node Storage Capacity. Значение Nodes может быть от 1 до 32. Выберите Node Storage Type и Node Storage Capacity по необходимости.

    • Чтобы обеспечить высокую доступность сервиса и предотвратить перегрузку отдельного узла, кластер из двух AZ должен иметь минимум четыре узла холодных данных (по два в каждом AZ); а кластер из трёх AZ должен иметь минимум три узла холодных данных (по одному в каждом AZ).
    • Чтобы предотвратить неравномерное распределение данных и обеспечить оптимальную производительность запросов и загрузки, количество узлов холодных данных должно быть целым кратным количеству AZ, например, шесть узлов холодных данных для кластера из трёх AZ.

    Когда узлы холодных данных включены, вы можете переключаться между узлами холодных и горячих данных. Подробности см. в Switching Between Hot and Cold Data.

    Enterprise Project

    При создании кластера CSS вы можете привязать к кластеру enterprise project, если включена функция enterprise project.

    Выберите enterprise project из выпадающего списка Enterprise Project, либо нажмите View Enterprise Project, чтобы перейти на страницу Enterprise Project Management Service и проверить существующие enterprise projects.

  4. Нажмите Next: Network.
  5. На странице Network настройте параметры сети и режим безопасности для кластера OpenSearch.
    Table 3 Параметры сети для кластера OpenSearch

    Parameter

    Description

    VPC

    Укажите VPC, чтобы изолировать сеть кластера.

    Нажмите View VPC, чтобы перейти в консоль управления VPC и проверить созданные VPC.

    Если VPC недоступен, обратитесь к администратору CSS для создания нового VPC. Подробности см. в разделе "Creating a VPC with a Subnet" в VPC User Guide.

    ПРИМЕЧАНИЕ:

    VPC должен содержать CIDR. В противном случае создание кластера завершится ошибкой. По умолчанию созданный VPC содержит CIDR.

    Subnet

    Subnet предоставляет выделенные сетевые ресурсы, изолированные от других сетей, повышая безопасность сети.

    Выберите subnet, необходимый кластеру в текущем VPC.

    Если существующие subnets не соответствуют вашим требованиям, нажмите Create Subnet, чтобы создать новый subnet. Подробности см. в разделе "Creating a VPC with a Subnet" в Virtual Private Cloud User Guide.

    Security Group

    Security Group выступает в качестве виртуального брандмауэра, предоставляющего политики контроля доступа для кластеров.

    Выберите security group для кластера. Нажмите View Security Group, чтобы перейти в список security group, где вы можете просмотреть детали security group.

    ПРИМЕЧАНИЕ:

    Убедитесь, что Port Range/ICMP Type установлен в диапазон портов, включающий порт 9200 для выбранного security group.

    Security Mode

    Нужно ли включать security mode для кластера.

    • Security mode включён по умолчанию. В security mode связь кластера зашифрована, и доступ к кластеру требует аутентификации пользователя. Поэтому Administrator Username и Administrator Password должны быть настроены для кластера.
      • Имя администратора по умолчанию: admin.
      • Установите и подтвердите Administrator Password. Этот пароль потребуется при доступе к этому кластеру.
    • Если Security Mode отключён, будет создан кластер в режиме без безопасности. В таком кластере доступ к кластеру не требует аутентификации пользователя, а данные передаются в открытом виде по протоколу HTTP. Убедитесь, что кластер развернут в безопасной среде. Не раскрывайте сетевой интерфейс кластера в публичную сеть.

    HTTPS Access

    HTTPS access можно включить только при включённом security mode для кластера. При включённом HTTPS access связь будет зашифрована при доступе к кластеру.

    HTTPS можно отключить только для кластеров OpenSearch 1.3.6, 2.19.0 и 3.4.0, у которых включён security mode. Для остальных версий отключить HTTPS access невозможно.

    NOTE:

    По сравнению с кластером в non-security mode, использующим HTTP, кластер в security-mode, использующий HTTPS, имеет более низкую производительность чтения. Потеря производительности оценивается примерно в 20 % при высокой конкуренции. Если вам нужна высокая производительность чтения, а также изоляция и контроль доступа (например, индексы, документы и поля), предоставляемые security mode, вы можете отключить HTTPS Access. После отключения HTTPS Access будет использоваться протокол HTTP для связи кластера. В этом случае безопасность данных не может быть гарантирована, и доступ из публичной сети отключён.

    Public IP Address

    Этот параметр доступен только при включённом Security Mode и HTTPS Access. Когда Public IP Address включён, публичный IP‑адрес назначается автоматически, что позволяет получить доступ к security‑кластеру из Интернета. Подробности см. в Configuring Public Network Access.

  6. Нажмите Next: Advanced Settings.
  7. На странице Advanced Settings настройте политику Снапшот и другие расширенные параметры для кластера OpenSearch.
    1. Установите политику cluster snapshot policy.

      Cluster snapshots отключены по умолчанию. Чтобы включить их, переключите Cluster Snapshots. Чтобы хранить автоматически создаваемые снимки в OBS, необходимо создать agency для доступа к OBS. За использование хранилища OBS (storage class: Standard) будут взиматься сборы.

      Table 4 Базовая конфигурация для cluster snapshot policy

      Parameter

      Description

      OBS Bucket

      В раскрывающемся списке выберите OBS bucket для хранения снимков. Вы также можете нажать Create Bucket справа, чтобы создать новый OBS bucket.

      Созданный или существующий OBS bucket должен соответствовать следующим требованиям:

      • Storage Class: Standard.
      • Region должен совпадать с регионом созданного кластера.

      Бэкап Path

      Путь хранения снимков в OBS bucket.

      Бэкап path не может:

      • Содержать следующие символы: \:*?"<>|'{}
      • Начинаться со слеша (/).
      • Начинать или заканчивать точкой (.).
      • Содержать более двух последовательных косых черт (/) или точек (.).
      • Превышать 512 символов.

      CAUTION:

      Для хранения снимков можно использовать только стандартное хранилище OBS. Не применяйте правила жизненного цикла OBS к пути резервного копирования.

      Maximum Backup Rate (per Second)

      Параметр задает максимальную скорость резервного копирования на узел. При превышении этого значения включается управление потоком, чтобы предотвратить чрезмерное использование ресурсов и обеспечить стабильность системы. Фактическая скорость резервного копирования может не достигать заданного значения, так как она зависит от таких факторов, как производительность OBS и ввод‑вывод диска.

      Value format: number + unit

      • Number range: 0–9999
      • Unit: KB, MB, GB, TB, PB, or B

      Default value: 40 MB

      Значение 0 MB означает отсутствие ограничения скорости резервного копирования данных в снимки. Слишком высокая скорость резервного копирования может привести к чрезмерному использованию ресурсов, что может повлиять на стабильность кластера. Тщательно настройте этот параметр для поддержания оптимальной производительности.

      Maximum Recovery Rate (per Second)

      Параметр задает максимальную скорость восстановления на узел. При превышении этого значения включается управление потоком, чтобы предотвратить чрезмерное использование ресурсов и обеспечить стабильность системы. Фактическая скорость восстановления может не достигать заданного значения, так как она зависит от таких факторов, как производительность OBS и ввод‑вывод диска.

      Value format: number + unit

      • Диапазон: 0–9999
      • Единица: KB, MB, GB, TB, PB, или B

      Значение по умолчанию — 0MB, указывающее на отсутствие ограничения.

      Слишком высокая скорость восстановления может привести к чрезмерному использованию ресурсов, что может повлиять на стабильность кластера. Тщательно настройте этот параметр, чтобы поддерживать оптимальную производительность.

      Для кластеров OpenSearch скорость восстановления также ограничивается параметром indices.recovery.max_bytes_per_sec.

      • Если Maximum Recovery Rate (per Second) меньше, чем indices.recovery.max_bytes_per_sec, применяется первое значение.
      • Если Maximum Recovery Rate (per Second) больше, чем indices.recovery.max_bytes_per_sec, применяется второе значение.

      ПРИМЕЧАНИЕ:
      • Чтобы проверить значение indices.recovery.max_bytes_per_sec, выполните следующую команду:
        GET _cluster/settings
      • Чтобы изменить indices.recovery.max_bytes_per_sec, выполните следующую команду:
        PUT _cluster/settings
        {
        "transient": {
        "indices.recovery.max_bytes_per_sec": "100mb"
        }
        }

      IAM Agency

      IAM агентство, уполномоченное текущей учётной записью для CSS, чтобы получить доступ к данным, хранящимся в OBS, или обслуживать их. Если агентство недоступно, обратитесь к администратору CSS для его создания.

      Выбранное IAM агентство должно соответствовать следующим требованиям:

      • Agency Type должно быть Cloud service.
      • Установите Cloud Service в значение Elasticsearch или CSS.
      • Обязательные политики: Tenant Administrator или OBS Administrator.

      WARNING:

      Имя агентства может содержать только буквы (с учётом регистра), цифры, символы подчеркивания (_) и дефисы (-). В противном случае резервное копирование завершится с ошибкой.

      Table 5 Настройка автоматического создания снапшотов

      Parameter

      Description

      Snapshot Name Prefix

      Префикс имени снапшота содержит от 1 до 32 символов и должен начинаться со строчной буквы. Разрешены только строчные буквы, цифры, дефисы (-) и символы подчеркивания (_). Имя снапшота состоит из префикса имени снапшота и метки времени, например, snapshot-1566921603720.

      Time Zone

      Часовой пояс для времени резервного копирования. Укажите Backup Started Time в соответствии с часовым поясом.

      Backup Start Time

      Укажите время начала автоматического резервного копирования.

      Выберите значение из раскрывающегося списка. Интервал может быть Daily, Hourly или еженедельно (выбором конкретного дня недели), а время резервного копирования можно задать на любой час от 00:00 до 23:00 (только полные часы).

    2. Настройте расширенные параметры для кластера.

      Теги

      Добавление тегов к кластерам помогает идентифицировать и управлять ресурсами вашего кластера. Вы можете настраивать теги или использовать теги, предопределённые Tag Management Service (TMS). Если вы хотите использовать один и тот же тег для идентификации нескольких облачных ресурсов для лучшей группировки ресурсов, мы рекомендуем предварительно определить теги в Tag Management Service (TMS). Подробности см. Tag Management Service User Guide.

      Note

      Если в вашей организации настроены политики тегов для CSS, добавляйте теги к кластерам в соответствии с этими политиками. Теги, не соответствующие предопределённым политикам тегов, приведут к ошибке создания кластера. Обратитесь к администратору, чтобы узнать о политиках тегов.

  8. Нажмите Next: Confirm Configuration. Проверьте конфигурацию и нажмите Next для создания кластера.
  9. Вернитесь к списку кластеров и проверьте только что созданный кластер. Если кластер создан успешно, Cluster Status изменится на Available. Время создания кластера зависит от количества узлов. Обычно этот процесс занимает менее 60 минут, хотя кластеры с большим числом узлов могут потребовать дополнительного времени.

    Если создание кластера не удалось, попробуйте создать кластер повторно, исправив возвращённые ошибки.