Создание кластера Elasticsearch

Сценарии

Требования

Создание кластера

1. Войдите в консоль управления CSS.
2. На Дашборд странице, нажмите Создать Кластер в правом верхнем углу. Эта Создать Кластер страница отображается.

   В качестве альтернативы выберите Кластеры > Elasticsearch в навигационном дереве слева. Нажмите Создать Кластер в правом верхнем углу. Эта Создать Кластер страница отображается.

3. На Базовая конфигурация странице, настройте базовую информацию и ресурсы для кластера Elasticsearch.

   Таблица 2 Базовая конфигурация кластера Elasticsearch

   Параметр	Описание
   Регион	Выберите регион, где находится кластер. ECSs в разных регионах не могут общаться друг с другом через интранет. Для более низкой задержки сети и более быстрого доступа к ресурсам выберите ближайший регион.
   AZ	Выберите одну или несколько AZ, связанных с регионом кластера. Можно настроить максимум три AZ. Подробнее об использовании нескольких AZ см Рекомендации по развертыванию Multi-AZ.
   Тип	Выберите Elasticsearch.
   Версия	Выберите версию кластера из выпадающего списка.
   Имя	Имя кластера, задаваемое пользователем. Имя кластера должно начинаться с буквы и может содержать от 4 до 32 символов. Разрешены только буквы, цифры, дефисы (-) и подчеркивания (_).
   Описание кластера	Добавьте описание кластера для удобного распознавания. Значение может содержать от 0 до 128 символов.
   Узлы	Количество узлов в кластере. Выберите число от 1 до 32. Рекомендуется настроить три и более узла, чтобы обеспечить высокую доступность кластера. Если в кластере нет клиентских узлов, узлам данных необходимо будет выполнять дополнительную задачу распределения запросов и анализа данных. Если в кластере нет мастер-узлов, узлам данных также потребуется выполнять управление кластером. NOTE: Если количество узлов данных в кластере не делится на количество AZ без остатка, данные в кластере могут распределяться неравномерно, что повлияет на производительность запросов или записи данных.
   CPU Architecture	x86. Поддерживаемые типы зависят от реального регионального окружения.
   Спецификации узлов	Флейвор дата‑нода. Вы можете выбрать определённую спецификацию в соответствии с вашими потребностями. Каждый кластер поддерживает только одну спецификацию.
   Тип хранилища узла	Если вы выбираете EVS для хранилища узла, необходимо дополнительно выбрать тип диска EVS для дата‑нод кластера. Варианты включают Common I/O, High I/O, Ultra-high I/O.
   Хранилище узла Ёмкость	Ёмкость хранилища дата‑нода. Диапазон её значений зависит от спецификаций узла. Ёмкость хранилища узла должна быть кратна 20.
   Мастер‑нода	Мастер‑ноды управляют операциями всего кластера, включая метаданные, индексы и распределение шардов. Для масштабных развертываний использование выделенных мастер‑нод повышает стабильность кластера, доступность сервиса и централизованный контроль. После включения мастер‑нод укажите Характеристики узла, Узлы, и Тип хранилища узла. Значение Узлы должно быть нечетным числом, большим или равным 3. Поддерживается до девяти узлов. Значение Ёмкость хранилища узла фиксирована. Вы можете выбрать тип хранилища в соответствии с вашими потребностями.
   Клиентский узел	Клиентские узлы маршрутизируют и координируют запросы поиска и индекса, разгружая обработку с узлов данных для повышения производительности запросов и масштабируемости кластера при больших нагрузках. После включения клиентских узлов укажите Характеристики узла, Узлы и Тип хранилища узла. Значение Узлы в диапазоне от 1 до 32. Значение Емкость хранилища узла зафиксировано. Вы можете выбрать тип хранилища в соответствии с вашими потребностями.
   Узел холодных данных	Узлы холодных данных используются для хранения и запросов больших объёмов данных, не чувствительных к задержкам. Они предоставляют эффективный способ управления крупными наборами данных при снижении затрат на хранение. После включения узлов холодных данных, настройте Характеристики узла, Узлы, Тип хранилища узла, и Емкость хранилища узла. Значение Узлы в диапазоне от 1 до 32. Выберите Тип хранилища узла и Ёмкость хранилища узла по требованию. Когда включены узлы холодных данных, вы можете переключаться между узлами холодных и горячих данных. Для получения подробностей см. Переключение между горячим и холодным хранилищем для кластера Elasticsearch. ПРИМЕЧАНИЕ: Если количество узлов холодных данных в кластере не делится равномерно на количество AZ, данные в кластере могут распределяться неравномерно, что влияет на производительность запросов или записи данных.
   Enterprise Project	При создании кластера CSS вы можете привязать enterprise project к кластеру, если вы включили функцию enterprise project. Выберите enterprise project из Enterprise Project выпадающего списка, или нажмите Просмотр Enterprise Project чтобы перейти к Enterprise Project Management Service страница и проверьте существующие enterprise проекты.

4. Нажмите Далее: Сеть.
5. В Сеть страница, настройте параметры сети и режим безопасности для кластера Elasticsearch.

   Таблица 3 Настройки сети для кластера Elasticsearch

   Параметр	Описание
   VPC	Укажите VPC, чтобы изолировать сеть кластера. Нажмите Просмотреть VPC чтобы перейти в консоль управления VPC и проверить созданные VPC. Если VPC недоступен, свяжитесь с администратором CSS для создания нового VPC. Для получения подробной информации см. раздел "Creating a VPC and Subnet" в VPC User Guide. ПРИМЕЧАНИЕ: VPC должен содержать CIDRs. В противном случае создание кластера завершится неудачей. По умолчанию, созданный VPC содержит CIDRs.
   Подсеть	Подсеть предоставляет выделенные сетевые ресурсы, изолированные от других сетей, повышая безопасность сети. Выберите подсеть, необходимую кластеру в текущем VPC.
   Группа безопасности	Группа безопасности служит в качестве виртуального брандмауэра, предоставляя политики контроля доступа для кластеров. Выберите группу безопасности для кластера. Нажмите Просмотр группы безопасности чтобы перейти к списку групп безопасности, где вы можете просмотреть детали о группах безопасности. ПРИМЕЧАНИЕ: Убедитесь, что Диапазон портов/Тип ICMP установлен на диапазон портов, включающий порт 9200 для выбранной группы безопасности. Если версия вашего Кластера 7.6.2 или новее, убедитесь, что все порты, используемые для связи между узлами в одной группе безопасности, разрешены. Если такие настройки нельзя сконфигурировать, убедитесь, что хотя бы доступ к порту 9300 разрешён. После включения порта 9300, если использование диска Кластера высоко, удалите просроченные данные, чтобы освободить дисковый Объём хранения.
   Security Mode	Включать ли режим безопасности для Кластера. Режим безопасности включён по умолчанию. В режиме безопасности связь Кластера зашифрована, и доступ к Кластеру требует аутентификации пользователя. Поэтому Administrator Username и Administrator Password должен быть настроен для Кластера. Имя пользователя администратора по умолчанию admin. Установите и подтвердите Administrator Password. Этот пароль будет требоваться при доступе к этому кластеру. Если Режим безопасности отключён, будет создан кластер в незащищённом режиме. С таким кластером доступ к кластеру не будет требовать аутентификации пользователя, а данные будут передаваться в открытом виде с использованием HTTP. Убедитесь, что кластер развернут в безопасном окружении. Не открывайте сетевой интерфейс кластера в публичную сеть.
   Доступ по HTTPS	Доступ по HTTPS может быть включён только при включённом режиме безопасности для кластера. При включённом доступе по HTTPS связь будет зашифрована при доступе к кластеру. NOTE: По сравнению с кластером в незащищённом режиме, использующим HTTP, кластер в режиме безопасности, использующий HTTPS, имеет более низкую производительность чтения. Потери производительности оцениваются примерно в 20% при высокой конкуренции. Если вам нужна высокая производительность чтения, а также изоляция и контроль доступа (например, индексы, документы и поля), включённые режимом безопасности, вы можете отключить Доступ по HTTPS. После Доступ по HTTPS отключено, протокол HTTP используется для взаимодействия кластера. В этом случае безопасность данных не может быть гарантирована, и публичный IP-адрес не может использоваться.
   Публичный IP-адрес	Этот параметр доступен только когда Режим безопасности и HTTPS-доступ включены. Когда Публичный IP-адрес включено, публичный IP-адрес автоматически назначается, что позволит получить доступ к кластеру безопасности из Интернета. Для получения подробной информации см Настройка публичного сетевого доступа для кластера Elasticsearch.

6. Нажмите Далее: Расширенные настройки.
7. На Расширенные настройки странице настройте политику Снапшот и другие расширенные настройки для кластера Elasticsearch.
   1. Установите политику снимка кластера.

      Снапшоты кластера отключены по умолчанию. Чтобы включить их, переключите Снапшоты кластера. Чтобы хранить автоматически создаваемые в OBS снимки, необходимо создать агентство для доступа к OBS. За использование стандартного OBS хранилища будет взиматься плата.

      Таблица 4 Базовая конфигурация политики снимка кластера

      Параметр	Описание
      OBS Бакет	Из раскрывающегося списка выберите OBS бакет для хранения снимков. Вы также можете нажать Создать Бакет справа, чтобы создать OBS бакет. Созданный или существующий OBS бакет должен отвечать следующим требованиям: Класс хранилища: Стандартный. Регион должно быть таким же, как у созданного кластера.
      Путь резервного копирования	Путь хранения снимка в бакете OBS. Путь резервного копирования не может: Содержать следующие символы: \:*?"<>|'{} Начинаться со слеша (/). Начинаться или заканчиваться точкой (.). Содержать более двух последовательных слешей (/) или точек (.). Превышать 512 символов. CAUTION: Для хранения файлов снимков можно использовать только стандартное хранилище OBS. Не добавляйте правила жизненного цикла OBS к пути резервного копирования.
      Максимальная скорость резервного копирования (в секунду)	Параметр задает максимальную скорость резервного копирования для каждого узла. При превышении этого значения запускается управление потоком, чтобы предотвратить чрезмерное использование ресурсов и обеспечить стабильность системы. Фактическая скорость резервного копирования может не достигать заданного значения, так как она зависит от факторов, таких как производительность OBS и disk I/O. Формат значения: число + единица Диапазон чисел: 0–9999 Единица: KB, MB, GB, TB, PB, или B Значение по умолчанию: 40 MB Значение 0MB означает отсутствие ограничения на скорость резервного копирования данных в снимки. Слишком высокая скорость резервного копирования может привести к чрезмерному использованию ресурсов, что может повлиять на стабильность кластера. Поэтому установите этот параметр внимательно.
      Максимальная скорость восстановления (в секунду)	Параметр задает максимальную скорость восстановления на узел. При превышении этого параметра активируется управление потоком, чтобы предотвратить чрезмерное использование ресурсов и обеспечить стабильность системы. Фактическая скорость восстановления может не достичь заданного значения, так как она зависит от факторов, таких как производительность OBS и ввод-вывод диска. Формат значения: число + единица Диапазон чисел: 0–9999 Единица: KB, MB, GB, TB, PB, или B Значение по умолчанию: Для кластеров Elasticsearch 7.6.2 и более ранних значение по умолчанию составляет 40 MB. Для кластеров Elasticsearch более новых, чем 7.6.2, значение по умолчанию 0 MB, указывая отсутствие ограничения. Слишком высокая скорость восстановления может привести к чрезмерному использованию ресурсов, что может повлиять на стабильность кластера. Тщательно настройте этот параметр, чтобы поддерживать оптимальную производительность. Для кластеров Elasticsearch более новых, чем 7.6.2, скорость восстановления также ограничивается indices.recovery.max_bytes_per_sec параметр. Если Максимальная скорость восстановления (в секунду) меньше indices.recovery.max_bytes_per_sec, действие имеет первое значение. Если Максимальная скорость восстановления (в секунду) больше чем indices.recovery.max_bytes_per_sec, последнее вступает в силу. ПРИМЕЧАНИЕ: Чтобы проверить значение indices.recovery.max_bytes_per_sec, выполните следующую команду: GET _cluster/settings Чтобы изменить indices.recovery.max_bytes_per_sec, выполните следующую команду: PUT _cluster/settings { "transient": { "indices.recovery.max_bytes_per_sec": "100mb" } }
      IAM Agency	IAM агентство, уполномоченное текущим аккаунтом для CSS для доступа или поддержки данных, хранящихся в OBS. Если агентство недоступно, обратитесь к администратору CSS для его создания. Выбранное IAM агентство должно соответствовать следующим требованиям: Тип агентства должен быть Облачный сервис. Установить Облачный сервис к Elasticsearch или CSS. Обязательные политики: Администратор арендатора или OBS Администратор. ПРЕДУПРЕЖДЕНИЕ: Имя агентства может содержать только буквы (с учетом регистра), цифры, подчеркивания (_), и дефисы (-). В противном случае бэкап завершится неудачей.

      Таблица 5 Настройка автоматического создания Снапшотов

      Параметр	Описание
      Префикс имени Снапшота	Префикс имени Снапшота содержит от 1 до 32 символов и должен начинаться с символа в нижнем регистре. Разрешены только строчные буквы, цифры, дефисы (-) и нижние подчеркивания (_). Имя Снапшота состоит из префикса имени Снапшота и временной метки, например, snapshot-1566921603720.
      Часовой пояс	Часовой пояс для времени бэкапа. Укажите Время начала бэкапа на основе часового пояса.
      Время начала бэкапа	Укажите время начала автоматического бэкапа. Выберите время из выпадающего списка. Интервал может быть Ежедневно, Ежечасно, или еженедельно (выбирая конкретный день недели), и время бэкапа можно установить на любой час с 00:00 до 23:00 (только полные часы).

   2. Настройте расширенные параметры для кластера. Выберите По умолчанию или Пользовательский.
      • По умолчанию: VPC Endpoint, Kibana Public Access по умолчанию отключены. Вы можете вручную включить эти настройки после создания кластера.
      • Пользовательский: Вы можете включить VPC Endpoint, Kibana Public Access по мере необходимости.

      VPC Endpoint

      VPC Endpoint позволяет вам получать доступ к ресурсам из разных Virtual Private Clouds (VPCs) с помощью выделенного шлюза, не раскрывая сетевую информацию серверов. Когда VPC Endpoint включён, VPC endpoint будет создан по умолчанию. Вы можете выбрать Create Private Domain Name при необходимости. Пользователи смогут получить доступ к этому кластеру через VPC, используя IP‑адреса узлов или приватное доменное имя.

      Таблица 6 Настройка VPC Endpoint

      Параметр	Описание
      Создать Приватное Доменное Имя	Если Создать Приватное Доменное Имя выбирается, система генерирует IP‑адрес узла и также автоматически создает приватное доменное имя, которое позволяет пользователям получить доступ к этому кластеру из той же VPC. Если не выбирается, генерируется только IP‑адрес узла.
      VPC Endpoint Белый список	В VPC Endpoint Белый список, вы можете добавить учетные записи, которым разрешен доступ к кластеру с использованием IP‑адреса узла или приватного доменного имени. Нажмите Добавить для добавления учетных записей в Account ID. Если учетная запись не добавлена или account ID установлен в *, все пользователи могут получить доступ к кластеру через VPC endpoint service. Нажмите Удалить в Операция столбце для удаления учетных записей. ПРИМЕЧАНИЕ: Чтобы получить ваш авторизованный account ID, наведите курсор на ваше имя пользователя в правом верхнем углу и выберите My Credentials. Скопируйте значение Account ID.

      Kibana Public Network Access

      Этот параметр доступен только когда режим безопасности включен для кластера. Включив эту опцию, вы можете получить публичный IP-адрес для доступа к Kibana.

      Таблица 7 Настройка доступа к Kibana из публичной сети

      Параметр	Описание
      Пропускная способность	Пропускная способность для доступа к Kibana через публичный IP-адрес. Диапазон значений: от 1 до 100. Единица измерения: Mbit/s
      Контроль доступа	Если отключить эту функцию, все IP-адреса смогут получать доступ к Kibana через публичный IP-адрес. Если включить эту функцию, доступ к Kibana через публичную сеть будет разрешён только IP-адресам или диапазонам IP-адресов, находящимся в белом списке.
      Белый список	IP-адреса или диапазоны IP-адресов, которым разрешён доступ к кластеру из публичной сети. Для разделения разных значений используйте запятые (,). Этот параметр можно настроить только когда Контроль доступа включено. Рекомендуется включить белый список. NOTE: Белый список, который контролирует публичный сетевой доступ Kibana, зависит от поддержки белого списка сервисом ELB. После обновления белого списка новые настройки вступают в силу немедленно для новых соединений. Для существующих постоянных соединений, использующих IP‑адреса, удалённые из белого списка, новые настройки вступают в силу примерно через 1 минуту после разъединения этих соединений.

8. Нажмите Далее: Подтвердить конфигурацию. Проверьте конфигурацию и нажмите Далее для создания кластера.
9. Вернитесь к списку кластеров и проверьте только что созданный кластер. Если кластер создан успешно, Статус кластера изменяется на Доступен. Время создания кластера зависит от количества узлов. Обычно этот процесс занимает менее 60 минут, хотя кластеры с большим количеством узлов могут требовать дополнительного времени.

   Если создание кластера не удалось, попробуйте снова создать кластер, исправив возвращённые ошибки.