Облачная платформаAdvanced

Масштабирование Out/Up кластера OpenSearch

Эта статья полезна?
Язык статьи: Русский
Показать оригинал
Страница переведена автоматически и может содержать неточности. Рекомендуем сверяться с английской версией.

Если кластер OpenSearch испытывает трудности с поддержанием производительности из‑за быстрого роста данных или продолжительного высокого использования памяти, вы можете масштабировать его горизонтально, добавив больше узлов и типов узлов, или вертикально, увеличив ёмкость хранилища существующих узлов.

Таблица 1 Сценарии масштабирования

Тип

Сценарий

Процесс изменения

Добавление новых узлов

Если кластер сталкивается с быстрым ростом данных или продолжительным высоким использованием памяти, вы можете добавить к нему больше узлов для повышения доступности кластера.

Процедура добавления узлов данных или узлов холодных данных:

  1. Добавляются новые узлы и изменяется конфигурация кластера.
  2. Перераспределение шардов автоматически запускается для переназначения некоторых шардов на только что добавленные узлы.
  3. После завершения перераспределения новые узлы начинают обрабатывать запросы на поиск и индексацию.

Добавление мастер- или клиентских узлов не вызывает миграцию данных.

Во время расширения ёмкости система гарантирует, что каждый шард имеет хотя бы одну доступную реплику, чтобы обеспечить непрерывность обслуживания.

Добавление новых типов узлов

Для кластера, у которого нет мастер- или клиентских узлов, по мере увеличения нагрузки на его дата‑плоскость, вы можете добавить в него мастер- или клиентские узлы, чтобы распределить нагрузку дата‑узлов.

Процедура добавления нового типа узла: добавляются новые узлы и изменяется конфигурация кластера. Добавление мастер- или клиентских узлов не вызывает миграцию данных, и поэтому не прерывает сервисы.

Когда добавляются клиентские узлы, адрес кластера меняется с адреса узла данных на адрес клиентского узла. Вы должны обновить клиентскую конфигурацию, чтобы использовать этот новый адрес. В противном случае клиентские узлы не смогут работать.

Увеличение ёмкости хранения узлов

  • Если кластер сталкивается с быстрым ростом данных и его ёмкость хранения становится недостаточной, вы можете расширить ёмкость хранения узлов кластера.
  • Если использование диска кластера остаётся высоким, вы можете расширить ёмкость хранения узлов кластера.
  1. Запрос отправляется в сервис EVS для расширения емкостей дисков всех узлов кластера.
  2. После того как емкость диска расширена сервисом EVS, размер существующих дисковых томов расширяется на всех узлах кластера.

Расширение емкости диска не прервет текущие сервисы.

Влияние на биллинг

Для кластера с оплатой по использованию вы можете увидеть его новую цену при подтверждении масштабирования (scale-out) или увеличения (scale-up) в консоли. После завершения масштабирования или увеличения новая цена будет применена. Для получения деталей ценообразования см. .

Ограничения

  • Емкость хранилища узлов кластера может быть только увеличена — не уменьшена. Выберите подходящую емкость хранилища узлов, основываясь на объёме данных и прогнозируемом росте данных.
  • Емкость хранилища мастер‑ и клиентских узлов в кластере не может быть расширена.
  • Емкость хранилища узлов данных, использующих локальные диски, не может быть расширена.
  • Для диапазона количества узлов, поддерживаемого каждым типом узла, см. Таблица 2.
    Таблица 2 Диапазоны количества узлов

    Тип узла

    Диапазон значений

    Узлы данных

    • Без узлов-мастеров: 1–32
    • С узлами-мастерами: 1–200

    Узлы-мастера

    3, 5, 7 или 9 (должно быть нечётное число от 3 до 9)

    Узлы клиентов

    1–32

    Узлы холодных данных

    1–32

Влияние изменения

Перед изменением изучите возможные воздействия и рекомендации по эксплуатации, а также разработайте план минимизации этих воздействий.

Увеличение ёмкости хранилища узлов кластера (вертикальное масштабирование) не влияет на сервисы, тогда как добавление новых узлов или новых типов узлов (горизонтальное масштабирование) может иметь следующие воздействия:

  • Влияние на производительность

    Добавление новых узлов не прерывает службы. Однако после добавления новых узлов шарды данных необходимо перераспределить на эти узлы для уравновешивания нагрузки, и этот процесс будет потреблять производительность I/O. Поэтому рекомендуется выполнять операцию в непиковые часы.

    Чтобы минимизировать это воздействие, целесообразно регулировать скорость миграции данных в зависимости от цикла трафика кластера: увеличить скорость миграции данных в непиковые часы, чтобы сократить продолжительность задачи, и уменьшить её до пиковые часы приходят, чтобы обеспечить оптимальную производительность кластера. Скорость миграции данных определяется indices.recovery.max_bytes_per_sec параметр. Значение по умолчанию этого параметра — количество vCPUs, умноженное на 32 MB. Например, для четырёх vCPUs скорость миграции данных составляет 128 MB. Установите этот параметр в значение от 40 MB до 1000 MB в зависимости от требований вашей службы.

    PUT /_cluster/settings
    {
    "transient": {
    "indices.recovery.max_bytes_per_sec": "1000MB"
    }
    }

  • Характеристики этого процесса

    После запуска задачу масштабирования нельзя остановить, пока она не завершится успешно или не завершится с ошибкой.

Продолжительность

  • Добавление новых узлов или новых типов узлов (горизонтальное масштабирование) занимает от 10 до 30 минут, в зависимости от возможностей планирования кластера.
  • Расширение ёмкости хранилища узлов кластера (вертикальное масштабирование) занимает от 10 до 15 минут.

Требования

  • Состояние кластера Доступно, и нет текущих задач.
  • Ваши квоты ресурсов CSS достаточны для расширения ёмкости, которое вы собираетесь выполнить. Вы можете проверить доступные ресурсы на Изменить конфигурацию страница.

Добавление дополнительных узлов или увеличение ёмкости хранилища узлов

Если в кластере наблюдается быстрый рост данных или постоянное высокое использование памяти, вы можете добавить в него новые узлы или увеличить ёмкость хранилища узлов. Это помогает улучшить доступность и надёжность сервиса и данных.

  1. Войдите в консоль управления CSS.
  2. В левой навигационной панели выберите Clusters > OpenSearch.
  3. В списке кластеров найдите целевой кластер и выберите More > Modify Configuration в Operation столбец. The Modify Configuration страница отображается.
  4. Нажмите Scale Cluster вкладка.
  5. Установите необходимые параметры.
    Table 3 Добавление дополнительных узлов или увеличение объёма хранилища узлов

    Parameter

    Description

    Action

    Select Scale out.

    Ресурсы

    Добавлено количество ресурсов.

    Узлы

    Увеличьте количество узлов и ёмкость хранилища узлов в Узлы и Тип хранилища узла столбцы. Вы можете изменить несколько типов узлов одновременно.

    • Для диапазона количеств узлов, поддерживаемых каждым типом узла, см. Ограничения.
    • Диапазон значений ёмкости хранилища узла определяется выбранным вами Флейвором. Значение должно быть кратно 20.
  6. Нажмите Далее.
  7. Подтвердите информацию и нажмите Отправить.
  8. Нажмите Назад к списку кластеров чтобы вернуться к Кластеры страница. The Статус задачи является Масштабирование. Когда Статус кластера изменяется на Доступно, кластер был успешно масштабирован.

Добавление новых типов узлов

Для кластера, у которого нет узлов master или client, по мере увеличения нагрузки на его data plane, вы можете добавить узлы master или client, чтобы распределить нагрузку с data узлов.

  1. Войдите в консоль управления CSS.
  2. В навигационной панеле слева выберите Кластеры > OpenSearch.
  3. В списке кластеров найдите целевой кластер и выберите Больше > Изменить конфигурацию в Операция столбце. The Изменить конфигурацию страница отображается.
  4. На Изменить конфигурацию странице, выберите Добавить Master/Client Nodes вкладка.

    Если кластер уже имеет как master, так и client узлы, то Добавить Master/Client Nodes вкладка недоступна.

  5. На вкладке Добавить Master/Client Nodes настройте узлы.
    Таблица 4 Добавление master или client узлов

    Параметр

    Описание

    Типы узлов

    Выберите тип узлов, которые вы хотите добавить.

    • Одновременно можно выбрать только один тип узла. Если вам нужно добавить и Master, и Client узлы, вам потребуется выполнить эту задачу дважды.
    • Если кластер уже содержит узлы Master или Client, здесь отображается только другой тип узла.

    Спецификации узлов

    Выберите спецификации узла на основе требований площадки.

    Узлы

    Установите количество узлов для добавления этого типа узлов. Для диапазона значений см. Ограничения.

    Тип хранилища узла

    Установите тип хранилища узла.

    Объём хранилища на каждый узел master или client фиксирован и составляет 40 ГБ.

  6. Нажмите Далее.
  7. Подтвердите информацию и нажмите Отправить.

    Вернуться к странице списка кластеров. The Статус задачи кластера Масштабирование наружу.

    • Если вы добавили master‑узлы, вы можете увидеть, что они успешно добавлены, когда Статус кластера изменяется на Доступно.
    • Это также верно для клиентских узлов. Вы можете перезапустить узлы данных и холодные узлы данных, чтобы остановить процессы Cerebro и OpenSearch Dashboards на них.

Связанные документы