Создание Снапшотов для резервного копирования данных кластера Elasticsearch

Влияние на биллинг

Ограничения

• Создание снимков кластера увеличит нагрузку на CPU и disk I/O. Чтобы минимизировать влияние на производительность системы, рекомендуется запланировать выполнение в непиковые часы.
• При создании или восстановлении снимка вы можете выполнять только определённые операции, включая доступ к Kibana, просмотр метрик и удаление других снимков. Однако вы не можете выполнять следующие операции: изменение конфигурации, перезапуск или удаление кластера, удаление создаваемого или восстанавливаемого снимка и создание или восстановление другого снимка. Пока для кластера создаётся или восстанавливается снимок, любая автоматическая задача создания снимка, инициированная для этого кластера, будет отменена.
• Когда вы создаёте первый снимок в кластере, выполняется полный бэкап всех данных. Последующие снимки являются инкрементальными, сохраняют только изменения с момента предыдущего снимка. Поскольку каждый инкрементальный снимок зависит от своих предшественников, их необходимо восстанавливать в правильной последовательности.
• В кластере, где хранилище и вычисления разделены, индекс, который одновременно заморожен и закрыт, нельзя бэкапить.

Требования

• OBS бакет, используемый для хранения снимков кластера, создан. OBS бакет должен находиться в том же регионе, что и целевой кластер Elasticsearch, и класс хранения должен быть Standard или Warm.
• Статус кластера Доступен.

Включение снимков кластера

1. Войдите в консоль управления CSS.
2. В навигационной панели слева выберите Clusters > Elasticsearch.
3. В списке кластеров щелкните название целевого кластера. Отображается страница информации о кластере.
4. Щелкните Cluster Snapshots вкладку и проверьте, включены ли снимки кластера.
   • Если они включены, пропустите этот шаг.
   • Если они отключены, перейдите к следующему шагу.
5. На Снапшоты кластера вкладке, нажмите Включить Снапшот. В отображаемом диалоговом окне настройте необходимые параметры.

   Таблица 1 Включение снапшотов кластера

   Параметр	Описание
   OBS Бакет	В раскрывающемся списке выберите OBS бакет для хранения снапшотов. Если ни один OBS бакет не удовлетворяет вашим требованиям, нажмите Создать Бакет чтобы перейти в консоль OBS и создать его. Чтобы предоставить пользователю IAM доступ к OBS бакету, необходимо предоставить GetBucketStoragePolicy, GetBucketLocation, ListBucket, и ListAllMyBuckets разрешения этому пользователю.
   Путь бэкапа	Путь хранения Снапшота в OBS Бакете. Путь бэкапа не может: Содержит следующие символы: \:*?"<>|'{} Начинается со слеша (/). Начинается или заканчивается точкой (.). Содержит более двух подряд идущих слешей (/) или точек (.). Превышает 512 символов. CAUTION: Только стандартное хранилище OBS может использоваться для хранения Снапшотов. Не применяйте правила жизненного цикла OBS к пути бэкапа.
   Максимальная скорость бэкапа (в секунду)	Параметр задает максимальную Бэкап‑скорость на узел. При превышении происходит контроль потока, чтобы предотвратить чрезмерное использование ресурсов и обеспечить стабильность системы. Фактическая Бэкап‑скорость может не достичь заданного значения, поскольку она зависит от факторов, таких как производительность OBS и ввод/вывод диска. Формат значения: число + единица Диапазон чисел: 0–9999 Единица: KB, MB, GB, TB, PB или B Значение по умолчанию: 40 MB Значение 0 МБ означает отсутствие ограничения скорости, с которой данные бэкапятся в Снапшот. Слишком высокая Бэкап‑скорость может привести к чрезмерному использованию ресурсов, что может повлиять на стабильность кластера. Поэтому задавайте этот параметр тщательно.
   Максимальная скорость восстановления (в секунду)	Параметр задает максимальную скорость восстановления на узел. При превышении происходит контроль потока, чтобы предотвратить чрезмерное использование ресурсов и обеспечить стабильность системы. Фактическая скорость восстановления может не достичь заданного значения, поскольку она зависит от факторов, таких как производительность OBS и ввод/вывод диска. Формат значения: число + единица Диапазон чисел: 0–9999 Единица: KB, MB, GB, TB, PB, или B Значение по умолчанию: Для кластеров Elasticsearch 7.6.2 или более ранних значение по умолчанию составляет 40 MB. Для кластеров Elasticsearch более новых, чем 7.6.2, значение по умолчанию равно 0 MB, указывая отсутствие ограничений. Слишком высокая скорость восстановления может привести к чрезмерному использованию ресурсов, что может сказаться на стабильности кластера. Настраивайте этот параметр внимательно, чтобы поддерживать оптимальную производительность. Для кластеров Elasticsearch более новых, чем 7.6.2, скорость восстановления также ограничивается indices.recovery.max_bytes_per_sec параметр. Если Максимальная скорость восстановления (в секунду) меньше, чем indices.recovery.max_bytes_per_sec, первое действие вступает в силу. Если Максимальная скорость восстановления (в секунду) больше чем indices.recovery.max_bytes_per_sec, второе действие вступает в силу. NOTE: Чтобы проверить значение indices.recovery.max_bytes_per_sec, выполните следующую команду: GET _cluster/settings Чтобы изменить indices.recovery.max_bytes_per_sec, выполните следующую команду: PUT _cluster/settings { "transient": { "indices.recovery.max_bytes_per_sec": "100mb" } }
   IAM Agency	Выберите IAM agency, чтобы предоставить текущей учётной записи разрешение доступа к OBS и его использованию. Чтобы хранить снимки в OBS бакет, у вас должны быть необходимые разрешения доступа к OBS. Если вы настраиваете агентство в первый раз, нажмите Автоматически создать IAM Agency чтобы создать css-obs-agency. Если ранее был автоматически создан IAM agency, вы можете нажать One-click authorization чтобы разрешения OBS Administrator были автоматически удалены, а вместо этого автоматически добавлены следующие пользовательские политики для реализации более точного контроля разрешений. "obs:bucket:GetBucketLocation", "obs:object:GetObjectVersion", "obs:object:GetObject", "obs:object:DeleteObject", "obs:bucket:HeadBucket", "obs:bucket:GetBucketStoragePolicy", "obs:object:DeleteObjectVersion", "obs:bucket:ListBucketVersions", "obs:bucket:ListBucket", "obs:object:PutObject" Когда бакеты OBS используют шифрование SSE-KMS, IAM agency должны получить разрешения KMS. Вы можете нажать Automatically Create IAM Agency и One-click authorization чтобы следующие пользовательские политики были созданы автоматически. "kms:cmk:create", "kms:dek:create", "kms:cmk:get", "kms:dek:decrypt", "kms:cmk:list" Для использования Automatically Create IAM Agency и One-click authorization, требуются следующие минимальные разрешения: "iam:agencies:listAgencies", "iam:roles:listRoles", "iam:agencies:getAgency", "iam:agencies:createAgency", "iam:permissions:listRolesForAgency", "iam:permissions:grantRoleToAgency", "iam:permissions:listRolesForAgencyOnProject", "iam:permissions:revokeRoleFromAgency", "iam:roles:createRole" Для использования IAM agency, требуются следующие минимальные разрешения: "iam:agencies:listAgencies", "iam:agencies:getAgency", "iam:permissions:listRolesForAgencyOnProject", "iam:permissions:listRolesForAgency" WARNING: Имя агентства может содержать только буквы (чувствительные к регистру), цифры, подчеркивания (_), и дефисы (-). В противном случае резервное копирование завершится неудачей.

   Определите, следует ли включить автоматическое создание снимков на основе потребностей сервиса.

   • Чтобы включить его, выберите Automatic Snapshot Creation, а также настройте необходимые параметры, ссылаясь на Configuring Automatic Snapshot Creation.
   • Чтобы отключить его, снимите выделение Automatic Snapshot Creation, в этом случае вам придется создавать снимки вручную.

6. Нажмите OK чтобы включить снимки кластера.

   Информация о конфигурации будет отображена в разделе Cluster Snapshots вкладке.

Настройка автоматического создания снимков

1. На Снимки кластера вкладке, нажмите Изменить настройки. В отображаемом диалоговом окне выберите Автоматическое создание снимков, и настройте необходимые параметры.

   Таблица 2 Настройка автоматического создания снимков

   Параметр	Описание
   Префикс имени снимка	Имя снимка состоит из префикса имени снимка и метки времени, например, snapshot-1566921603720. Префикс имени снапшота может содержать от 1 до 32 символов. Он должен начинаться с строчной буквы и может содержать только строчные буквы, цифры, дефисы (-) и нижние подчёркивания (_). Значение по умолчанию Снапшот.
   Часовой пояс	Выберите часовой пояс для времени начала бэкапа.
   Время начала бэкапа	Укажите время начала авто бэкапа. Выберите значение из раскрывающегося списка. Интервал может быть Ежедневно, Ежечасно, или еженедельно (выбирая определённый день недели), а время бэкапа можно установить на любой час от 00:00 до 23:00 (только полные часы).
   Сохранённые Снапшоты	Количество автоматически сохраняемых снимков. Значение может быть от 1 до 90. Система автоматически удаляет лишние снимки каждые полчаса. (Политика удаления по истечении срока применяется только к снимкам, которые были автоматически созданы с той же частотой, что и текущая политика автоматического создания снимков.) NOTE: Если интервал создания снимков короткий или размер данных индексов большой, количество автоматически сохраняемых снимков может не достигнуть значения, установленного с помощью этого параметра.
   Индекс	Укажите имя индекса для резервного копирования. Вы можете создать резервную копию указанного индекса. Чтобы указать несколько индексов, используйте запятые (,) для их разделения, например, index1,index2,index3. Вы можете использовать символ звёздочка (*) для сопоставления нескольких индексов. Например, index* указывает, что все индексы с префиксом индекс будут резервно копированы. Если не указать этот параметр, все индексы в кластере будут резервироваться по умолчанию. Имя индекса может содержать от 0 до 1024 символов. Оно не может содержать пробелы, заглавные буквы или специальные символы "\<|>/? ПРИМЕЧАНИЕ: Вы можете выполнить GET /_cat/indices команда для получения имен всех индексов в кластере.

2. Нажмите ОК для включения автоматического создания снимков.

   После включения автоматического создания снимков, Автоматическое создание снимков параметр в Снимки кластера область отображается как Включено.

   Снапшоты, автоматически созданные в соответствии с политикой снапшотов, а также вручную созданные, отображаются в списке задач снапшотов кластера.

   Когда статус снапшота меняется на Доступно, снапшот создан. Если создание снапшота не удалось, нажмите справа в списке снапшотов, чтобы просмотреть количество неудачных задач и узнать причины сбоев. Можно отобразить максимум 20 неудачных задач. Когда функция снапшота отключена или кластер удалён, записи о сбоях также очищаются.

3. Проверьте, успешно ли данные находятся в бэкапе.

   В списке задач снапшотов кластера нажмите имя снапшота. Просмотреть детали отображается диалоговое окно. Проверьте сегменты и индексы, которые были сохранены в бэкапе, чтобы увидеть, успешен ли бэкап.

4. Чтобы отключить автоматическое создание снапшотов, нажмите Изменить настройки. В отображаемом диалоговом окне снимите выбор Автоматическое создание снапшотов, и нажмите OK. В отображаемом диалоговом окне выберите, удалять ли снимки, созданные автоматически. Затем нажмите OK чтобы отключить автоматическое создание снимков.
   Caution

   • При отключении автоматического создания снимков, если вы выбираете Удалить автоматически созданные снимки, будут удалены только существующие снимки. Снимки, которые создаются, всё равно будут созданы.
   • Если автоматическое создание снимков отключено без удаления автоматически созданных снимков, все такие снимки в кластере нельзя будет удалить вручную позже, когда автоматическое создание снимков будет снова включено. Вместо этого их может удалить только система в соответствии с политикой жизненного цикла снимков. Например, если Удерживаемые снимки установлено в 10 в политике система автоматически удаляет лишние снимки (сначала самые старые) в следующий полчасовой интервал, когда количество существующих снимков превышает этот лимит.

   После отключения автоматического создания снимков, Автоматическое создание снимка параметр в Снимки кластера область отображается как Отключено.

Ручное создание снимка

1. Под Задачи снимков кластера, щелкните Создать снимок вручную. В отображаемом диалоговом окне настройте политику снимка.

   Таблица 3 Параметры для ручного создания снимка

   Параметр	Описание
   Имя снимка	Установите имя снапшота. В отличие от автоматически созданных снапшотов, вручную созданные снапшоты не имеют автоматически добавленной к их именам информации о времени. Значение может содержать от 4 до 64 символов и должно начинаться с буквы. Допустимы только строчные буквы, цифры, дефисы (-) и подчеркивания (_).
   Индекс	Укажите имя индекса для резервного копирования. Вы можете создать бэкап указанного индекса. При указании нескольких индексов используйте запятые (,) для их разделения, например, index1,index2,index3. Вы можете использовать символ звездочки (*) для совпадения с несколькими индексами. Например, index* указывает, что все индексы с префиксом индекс будут бэкапированы. Если не указать этот параметр, все индексы в кластере будут бэкапированы по умолчанию. Имя индекса может содержать от 0 до 1024 символов. Оно не может содержать пробелы, заглавные буквы или специальные символы "\<|>/? NOTE: Вы можете выполнить GET /_cat/indices команду для получения имён всех индексов в кластере.
   Описание снимка	Добавьте описание снимка. Значение может содержать от 0 до 256 символов и не может содержать специальные символы !<>=&\"'

2. Щелкните OK чтобы начать создавать снимки.

   Снимки, созданные вручную, а также автоматически созданные согласно политике снимков, отображаются в списке задач снимков кластера.

   Когда статус снимка меняется на Доступно, снимок создан. Если создание снимка не удалось, нажмите справа от списка снимков, чтобы просмотреть количество неудачных задач и узнать причины сбоя. Можно отобразить не более 20 неудачных задач. Когда функция снимков отключена или кластер удалён, записи о сбоях также очищаются.

3. Проверьте, успешно ли данные резервно скопированы.

   В списке задач снимков кластера нажмите имя снимка. The Просмотр деталей отображается диалоговое окно. Проверьте фрагменты и индексы, которые были сохранены, чтобы увидеть, успешна ли резервная копия.

Отключение снимков кластера