Переключение AZ для кластера OpenSearch

Ограничения

• Чтобы обеспечить непрерывность сервиса, общее количество узлов данных плюс узлов холодных данных в кластере должно быть не менее трех.
• Во время изменения узлы выводятся из сети поочередно, после чего создаются новые узлы. Убедитесь, что общий объём дискового пространства оставшихся узлов достаточен для обработки всех данных кластера и что использование диска узлами не превышает 80%.
• Чтобы убедиться, что все шарды индексов в кластере могут быть распределены на оставшиеся узлы данных и узлы холодных данных, общее количество узлов данных и узлов холодных данных должно быть больше максимального количества реплик индексов плюс 1.
• До завершения изменения некоторые узлы могут уже быть перемещены в новую AZ. В этом случае отображаются AZs до и после изменения. После успешного изменения новые AZs и их узлы будут отображаться корректно.
• Когда вы добавляете узлы для кластера (Добавить AZ), текущий AZ должен сохраняться. При добавлении одного или двух AZ для кластера с одной AZ необходимо изменить AZ всех узлов. При добавлении одного AZ для кластера с двумя AZ вы можете выбрать изменение AZ только для определённых типов узлов или для всех узлов кластера. Например, для кластера с двумя AZ вы можете использовать три AZ для его master nodes, при этом оставив два AZ для остальных узлов. Чтобы завершить изменение AZ, система попытается переместить как можно меньше узлов для восстановления кластера. В процессе также обновляется YML‑конфигурационный файл узлов, которые не изменены. Необходимо перезапустить кластер, чтобы изменение вступило в силу.
• При миграции AZ (Мигрировать AZ), вы можете выбрать только одну целевую AZ. Для этой операции вы можете выбрать миграцию только определённых типов узлов или всех узлов в кластере. Например, для кластера с двумя AZ вы можете переместить master nodes из одной AZ в другую, оставив остальные узлы без изменений. При миграции из одной AZ в другую перезапуск кластера не требуется. Если мигрируется несколько AZ, необходимо перезапустить кластер, чтобы изменение вступило в силу.

Влияние изменения

• Производительность

  Изменение AZ кластера не прерывает обслуживание. Однако миграция данных, происходящая в процессе, потребляет I/O производительность, а вывод отдельных узлов из эксплуатации всё же оказывает некоторое влияние на общую производительность кластера.

  Чтобы минимизировать это влияние, рекомендуется регулировать скорость миграции данных в зависимости от цикла нагрузки кластера: увеличить скорость миграции данных в непиковые часы, чтобы сократить продолжительность задачи, и уменьшить её до пиковые часы наступают, чтобы обеспечить оптимальную производительность кластера. Скорость миграции данных определяется indices.recovery.max_bytes_per_sec параметр. Значение по умолчанию этого параметра равно количеству vCPUs, умноженному на 32 MB. Например, для четырёх vCPUs скорость миграции данных составляет 128 MB. Установите этот параметр в диапазоне от 40 MB до 1000 MB в зависимости от требований вашего сервиса.

  PUT /_cluster/settings  
  {  
    "transient": {  
      "indices.recovery.max_bytes_per_sec": "1000MB"  
    }  
  }
  
  

• Влияние на обработку запросов

  Пока узел отключён, запросы, отправленные к нему, могут завершаться с ошибкой. Чтобы смягчить это воздействие, могут быть приняты следующие меры:

  • Используйте VPC endpoint или выделенный балансировщик нагрузки для обработки запросов доступа к вашему кластеру, что гарантирует автоматическую маршрутизацию запросов к доступным узлам.
  • Включите механизм экспоненциального отката и повторных попыток на клиенте (настройте три повторения).
  • Выполните эту операцию в непиковые часы.
• Characteristics of this process

  После запуска задачу изменения AZ нельзя остановить, пока она не завершится успешно или с ошибкой.

Change Duration

где,

• 32 MB/s указывает, что каждый vCPU может обрабатывать 32 MB данных в секунду. Это эмпирическое значение.
• Приведённые выше формулы используют оценки в идеальных условиях. Фактическая скорость миграции зависит от нагрузки кластера.

Предварительные требования

• Состояние кластера Доступно, и нет текущих задач.
• Убедитесь, что у кластера не было нестандартных модификаций, таких как конфигурация пользовательских обратных маршрутов и системных параметров. Такие модификации, если они были выполнены, будут потеряны после изменения AZ, что может повлиять на ваши сервисы.
• Все критически важные данные были бэкапированы. Подробности см. Создание Снапшотов для Бэкапа данных кластера OpenSearch.

Изменение AZs

1. Войдите в консоль управления CSS.
2. В панели навигации слева выберите Кластеры > OpenSearch.
3. В списке кластеров найдите целевой кластер и выберите Больше > Изменить конфигурацию в Операция столбце. Эта Изменить конфигурацию страница отображается.
4. Нажмите Изменить AZ вкладку.
5. На Изменить AZ страница, задайте параметры.
   Caution

   Если количество узлов данных плюс холодных узлов данных в кластере не делится на количество AZ, данные в кластере могут распределиться неравномерно после завершения изменения AZ. Например, если кластер имеет две AZ и три узла данных, один узел может потребоваться хранить вдвое больше данных, чем остальные два узла. Такое неравномерное распределение данных может повлиять на производительность запросов или запись кластера.

   Таблица 1 Параметры изменения AZ

   Параметр	Описание
   Тип операции	Добавить AZ: Добавить один или два AZ для кластера с одной AZ, либо добавить один AZ для кластера с двумя AZ. To complete this AZ change, the system will try to move as few nodes as possible to rebuild the cluster. During this process, the YML configuration file of the nodes that are not modified is also updated. You need to restart the cluster to make the change take effect. Мигрировать AZ: Мигрировать данные из одной AZ в другую. После добавления AZs, вам необходимо перезапустить кластер, чтобы изменение вступило в силу.
   Тип узла	Выберите тип узла для изменения AZ. Выберите один тип узла или Все узлы для изменения их AZ. При добавлении одной или двух AZ к кластеру с одним AZ, можно выбрать только Все узлы.
   Текущий AZ	Текущий AZ кластера
   Целевой AZ	AZ для добавления или миграции. Добавить AZ: Выберите до трех AZ, которые должны включать все текущие AZ. Мигрировать AZ: Выберите только один целевой AZ, который не может быть вашим текущим AZ.

6. Нажмите Отправить. В отображаемом диалоговом окне выберите, проверять ли наличие полного снимка индекса, и нажмите OK чтобы начать изменение.
   Note

   Рекомендуется выбрать Проверить полный снимок индекса. Это гарантирует, что все данные были сохранены, поэтому в случае сбоя задачи данные можно восстановить с помощью этого снимка.

   Рисунок 1 Проверить полный снимок индекса

   
   

   Когда Состояние задачи в списке задач ниже изменяется на Успешно, изменение AZ завершено.

7. Подтвердите результат.
   1. В списке кластеров щёлкните название целевого кластера. Страница информации о кластере отображается.
   2. На Обзор на вкладке проверьте AZ кластера в Конфигурация область, чтобы определить, успешен ли переключение.

Проверка прогресса задачи изменения AZ

• Повторить задачу: Нажмите Повторить в Операция столбце.
• Завершить задачу: Нажмите Завершить в Операция столбец.

  Если к моменту завершения задачи изменения AZ AZ для некоторых узлов не был изменён, вы можете попытаться восстановить эти узлы, выполнив Замена указанных узлов для кластера OpenSearch.

  Caution

  Если изменение AZ выполнено только частично, кластер будет иметь узлы, распределённые по разным AZ, и нет удобного способа продолжить изменение AZ для оставшихся узлов. Чтобы избежать этой ситуации, не завершайте задачу в этом состоянии.