Создание Снапшотов для Бэкапа данных OpenSearch Кластера

Влияние на Биллинг

Ограничения

• Создание снимков кластера увеличит нагрузку на CPU и дисковый I/O. Чтобы минимизировать влияние на производительность системы, рекомендуется планировать это на часы низкой нагрузки.
• При создании или восстановлении снимка вы можете выполнять только определённые операции, включая доступ к OpenSearch Dashboards, просмотр метрик и удаление других снимков. Однако вы не можете выполнять следующие операции: изменение конфигурации, перезапуск или удаление кластера, удаление создаваемого или восстанавливаемого снимка, а также создание или восстановление другого снимка. Пока снимок создаётся или восстанавливается для кластера, любая автоматически инициированная задача создания снимков для этого кластера будет отменена.
• Когда вы создаёте первый снимок в кластере, выполняется полный бэкап всех данных. Последующие снимки являются инкрементными, сохраняют только изменения с предыдущего снимка. Поскольку каждый инкрементный снимок зависит от своих предшественников, их необходимо восстанавливать в правильной последовательности.
• В кластере, где хранилище и вычисления разделены, индекс, который одновременно заморожен и закрыт, не может быть бэкапирован.

Требования

• OBS Бакет, используемый для хранения снимков кластера, был создан. OBS Бакет должен находиться в том же регионе, что и целевой кластер OpenSearch, и класс хранения должен быть Standard или Warm.
• Статус кластера Available.

Включение снимков кластера

1. Войдите в консоль управления CSS.
2. В навигационной панели слева выберите Clusters > OpenSearch.
3. В списке кластеров щёлкните имя целевого кластера. Отображается страница информации о кластере.
4. Щёлкните Снимки кластера вкладку, и проверьте, включены ли снимки кластера.
   • Если они включены, пропустите этот шаг.
   • Если они отключены, перейдите к следующему шагу.
5. На Снимки кластера вкладка, нажмите Включить снимок. В отображаемом диалоговом окне настройте необходимые параметры.

   Рисунок 1 Включить снимок

   
   

   Таблица 1 Включение снимков кластера

   Параметр	Описание
   OBS Бакет	В раскрывающемся списке выберите OBS бакет для хранения снимков. Если нет OBS бакетов, удовлетворяющих вашим требованиям, нажмите Создать бакет чтобы перейти в консоль OBS и создать его. Чтобы предоставить пользователю IAM доступ к OBS бакету, необходимо предоставить GetBucketStoragePolicy, GetBucketLocation, ListBucket, и ListAllMyBuckets разрешения этому пользователю.
   Бэкап Путь	Путь хранения снапшота в бакете OBS. Путь бэкапа не может: Содержать следующие символы: \:*?"<>|'{} Начинаться со слеша (/). Начинаться или заканчиваться точкой (.). Содержать более двух последовательных слешей (/) или точек (.). Превышать 512 символов. CAUTION: Только стандартное хранилище OBS можно использовать для хранения снапшотов. Не применяйте правила жизненного цикла OBS к пути бэкапа.
   Максимальная Скорость бэкапа (в секунду)	Параметр задает максимальную скорость Бэкапа на узел. При его превышении включается контроль потока, чтобы предотвратить избыточное использование ресурсов и обеспечить стабильность системы. Фактическая скорость Бэкапа может не достигать установленного значения, так как она зависит от факторов, таких как производительность OBS и диск I/O. Формат значения: число + единица измерения Диапазон чисел: 0–9999 Единица: KB, MB, GB, TB, PB, или B Значение по умолчанию: 40 MB Значение 0MB означает отсутствие ограничения скорости, с которой данные резервируются в снимки. Слишком высокая скорость Бэкапа может привести к избыточному использованию ресурсов, что может сказаться на стабильности кластера. Тщательно настройте этот параметр, чтобы поддерживать оптимальную производительность.
   Максимальная скорость восстановления (в секунду)	Параметр задает максимальную скорость восстановления на узел. При его превышении включается контроль потока, чтобы предотвратить избыточное использование ресурсов и обеспечить стабильность системы. Фактическая скорость восстановления может не достижеть установленного значения, так как она зависит от факторов, таких как производительность OBS и диск I/O. Формат значения: число + единица Диапазон чисел: 0–9999 Единица: KB, MB, GB, TB, PB, или B Значение по умолчанию равно 0MB, указывает на отсутствие ограничения. Слишком высокий коэффициент восстановления может привести к чрезмерному использованию ресурсов, что может повлиять на стабильность кластера. Тщательно настройте этот параметр, чтобы поддерживать оптимальную производительность. Для кластеров OpenSearch коэффициент восстановления также ограничен indices.recovery.max_bytes_per_sec параметр. Если Максимальный коэффициент восстановления (в секунду) меньше чем indices.recovery.max_bytes_per_sec, действует первое значение. Если Максимальный коэффициент восстановления (в секунду) больше чем indices.recovery.max_bytes_per_sec, последний вступает в силу. ПРИМЕЧАНИЕ: Чтобы проверить значение indices.recovery.max_bytes_per_sec, выполните следующую команду: GET _cluster/settings Чтобы изменить indices.recovery.max_bytes_per_sec, выполните следующую команду: PUT _cluster/settings { "transient": { "indices.recovery.max_bytes_per_sec": "100mb" } }
   IAM Agency	Выберите IAM agency, чтобы предоставить текущей учётной записи разрешение на доступ и использование OBS. Чтобы хранить снимки в OBS‑бакете, вам необходимо иметь требуемые права доступа к OBS. Если вы настраиваете агентство впервые, нажмите Automatically Create IAM Agency чтобы создать css-obs-agency. Если IAM Agency был автоматически создан ранее, вы можете нажать One-click authorization чтобы разрешения OBS Administrator удалялись автоматически, и вместо этого автоматически добавлялись следующие пользовательские политики для реализации более точного контроля прав доступа. "obs:bucket:GetBucketLocation", "obs:object:GetObjectVersion", "obs:object:GetObject", "obs:object:DeleteObject", "obs:bucket:HeadBucket", "obs:bucket:GetBucketStoragePolicy", "obs:object:DeleteObjectVersion", "obs:bucket:ListBucketVersions", "obs:bucket:ListBucket", "obs:object:PutObject" Когда корзины OBS используют шифрование SSE-KMS, агентству IAM должны быть предоставлены разрешения KMS. Вы можете нажать Автоматически создать агентство IAM и One-click authorization чтобы следующие пользовательские политики создавались автоматически. "kms:cmk:create", "kms:dek:create", "kms:cmk:get", "kms:dek:decrypt", "kms:cmk:list" Чтобы использовать Автоматически создать агентство IAM и One-click authorization, требуются следующие минимальные разрешения: "iam:agencies:listAgencies", "iam:roles:listRoles", "iam:agencies:getAgency", "iam:agencies:createAgency", "iam:permissions:listRolesForAgency", "iam:permissions:grantRoleToAgency", "iam:permissions:listRolesForAgencyOnProject", "iam:permissions:revokeRoleFromAgency", "iam:roles:createRole" Чтобы использовать агентство IAM, требуются следующие минимальные разрешения: "iam:agencies:listAgencies", "iam:agencies:getAgency", "iam:permissions:listRolesForAgencyOnProject", "iam:permissions:listRolesForAgency" WARNING: Имя агентства может содержать только буквы (с учётом регистра), цифры, подчёркивания (_), и дефисы (-). В противном случае бэкап завершится неудачей.

   Определите, следует ли включить автоматическое создание снимков на основе потребностей сервиса.

   • Чтобы включить его, выберите Automatic Snapshot Creation, и настройте необходимые параметры, обратившись к Configuring Automatic Snapshot Creation.
   • Чтобы отключить его, снимите выделение Automatic Snapshot Creation, в этом случае вам потребуется вручную создавать снимки.

6. Нажмите OK чтобы включить снимки кластера.

   Информация о конфигурации будет отображена на Cluster Snapshots вкладке.

Configuring Automatic Snapshot Creation

1. На Снапшоты Кластера вкладка, клик Изменить настройки. В отображаемом диалоговом окне выберите Автоматическое создание Снапшотов, и настройте необходимые параметры.

   Таблица 2 Настройка автоматического создания Снапшотов

   Параметр	Описание
   Префикс имени Снапшота	Имя Снапшота состоит из префикса имени Снапшота и метки времени, например, snapshot-1566921603720. Префикс имени Снапшота может содержать от 1 до 32 символов. Он должен начинаться со строчной буквы, и может содержать только строчные буквы, цифры, дефисы (-) и подчёркивания (_). Значение по умолчанию снапшот.
   Часовой пояс	Выберите часовой пояс для времени начала бэкапа.
   Время начала бэкапа	Укажите время начала автоматического бэкапа. Выберите значение из раскрывающегося списка. Интервал может быть Ежедневно, Ежечасно, или еженедельно (выбором конкретного дня недели), и время бэкапа можно установить на любой час с 00:00 до 23:00 (только полные часы).
   Сохранённые Снапшоты	Количество автоматически сохраняемых снапшотов. Значение может быть от 1 до 90. Система автоматически удаляет лишние снапшоты каждые полчаса. (Политика удаления просроченных применяется только к снапшотам, которые были созданы автоматически с той же частотой, что и текущая политика автоматического создания снапшотов.) ПРИМЕЧАНИЕ: Если интервал создания снапшотов короткий или размер данных индексов велик, количество автоматически сохраняемых снапшотов может не достичь значения, установленного этим параметром.
   Индекс	Укажите имя индекса для резервного копирования. Вы можете создать резервную копию указанного индекса. Чтобы указать несколько индексов, разделите их запятыми (,), например, index1,index2,index3. Вы можете использовать знак звёздочки (*) для соответствия нескольким индексам. Например, index* указывает, что все индексы с префиксом index будут созданы резервные копии. Если вы не укажете этот параметр, по умолчанию все индексы в кластере будут резервированы. Имя индекса может содержать от 0 до 1024 символов. Оно не может содержать пробелы, заглавные буквы или специальные символы "\<|>/? ПРИМЕЧАНИЕ: Вы можете выполнить GET /_cat/indices команду для получения имен всех индексов в кластере.

2. Нажмите OK для включения автоматического создания снимков.

   После включения автоматического создания снимков, Автоматическое создание снимков параметр в Снимки кластера область отображается как Включено.

   Снимки, автоматически создаваемые согласно политике снимков, а также созданные вручную, отображаются в списке задач снимков кластера.

   Когда статус снимка меняется на Доступно, снимок создан. Если создание снимка не удалось, нажмите справа от списка снимков, чтобы просмотреть количество неудавшихся задач и узнать причины сбоев. Максимум 20 неудачных задач может быть отображено. Когда функция снимков отключена или кластер удалён, записи о сбоях также очищаются.

3. Проверьте, успешно ли выполнен Бэкап данных.

   В списке задач кластера Снапшотов щёлкните имя Снапшота. The Просмотр деталей отображается диалоговое окно. Проверьте шарды и индексы, которые были бэкапированы, чтобы увидеть, успешен ли бэкап.

4. Чтобы отключить автоматическое создание Снапшотов, щёлкните Изменить настройки. В отображаемом диалоговом окне снимите выделение Автоматическое создание Снапшотов, и щёлкните OK. В отображаемом диалоговом окне выберите, удалять ли автоматически созданные Снапшоты. Затем щёлкните OK чтобы отключить автоматическое создание Снапшотов.
   Caution

   • При отключении автоматического создания Снапшотов, если вы выбираете Удалить автоматически созданные Снапшоты, будут удалены только существующие Снапшоты. Снапшоты, которые находятся в процессе создания, всё равно будут созданы.
   • Если автоматическое создание снимков отключено без удаления автоматически созданных снимков, все такие снимки в кластере позже нельзя будет удалить вручную, когда автоматическое создание снимков будет включено снова. Вместо этого их может удалить только система на основе политики жизненного цикла снимков. Например, если Retained Snapshots is set to 10 in the policy, the system automatically deletes excess snapshots (oldest first) on the next half hour when the number of existing snapshots exceeds this limit.

   After automatic snapshot creation is disabled, the Automatic Snapshot Creation parameter in the Cluster Snapshots area is shown as Disabled.

Manually Creating a Snapshot

1. Under Кластер Снапшот Задачи, нажмите Вручную Создать Снапшот. В отображаемом диалоговом окне настройте политику снапшота.

   Таблица 3 Параметры для ручного создания снапшота

   Параметр	Описание
   Имя Снапшота	Установите имя снапшота. В отличие от автоматически созданных снапшотов, вручную созданные снапшоты не содержат автоматически добавленную временную информацию в своих именах. Значение может содержать от 4 до 64 символов и должно начинаться с буквы. Допустимы только строчные буквы, цифры, дефисы (-) и подчеркивания (_).
   Индекс	Укажите имя индекса для Бэкапа. Вы можете выполнить Бэкап указанного индекса. При указании нескольких индексов используйте запятые (,) для их разделения, например, index1,index2,index3. Вы можете использовать символ звёздочки (*) для соответствия нескольким индексам. Например, index* указывает, что все индексы с префиксом index будут сохранены. Если вы не укажете этот параметр, все индексы в кластере будут сохранены по умолчанию. Имя индекса может содержать от 0 до 1024 символов. Оно не может содержать пробелы, заглавные буквы или специальные символы "\<|>/? NOTE: Вы можете выполнить GET /_cat/indices команду для запроса имён всех индексов в кластере.
   Описание снимка	Добавьте описание снимка. Значение может содержать от 0 до 256 символов и не может содержать специальные символы !<>=&\"'

2. Нажмите OK чтобы начать создание снапшотов.

   Снапшоты, созданные вручную, а также автоматически созданные в соответствии с политикой снапшотов, отображаются в списке задач снапшотов кластера.

   Когда статус снапшота меняется на Available, снапшот создан. Если создание снапшота не удалось, нажмите справа от списка снапшотов, чтобы просмотреть количество неудачных задач и узнать причины сбоев. Можно отобразить до 20 неудачных задач. Когда функция снапшотов отключена или кластер удалён, записи о сбоях также очищаются.

3. Проверьте, успешно ли выполнен бэкап данных.

   В списке задач снапшотов кластера нажмите имя снапшота. Эта Просмотр деталей отображается диалоговое окно. Проверьте фрагменты и индексы, которые были бэкапированы, чтобы увидеть, успешен ли бэкап.

Отключение снапшотов кластера