Настройка политик Index State Management (ISM)

Определите одну или несколько политик ISM в OpenSearch Dashboards, чтобы указать кластеру, как управлять индексами.

1. Войдите в консоль управления CSS.
2. В панели навигации слева выберите Clusters > OpenSearch.
3. В списке кластеров найдите целевой кластер и нажмите Dashboards в столбце Operation, чтобы войти в OpenSearch Dashboards.
4. Разверните меню OpenSearch Dashboards в верхнем левом углу и выберите Index Management.
5. Нажмите Index Policies или State management policies.
6. Нажмите Create policy справа, чтобы создать политику. В диалоговом окне Configuration method выберите JSON editor и нажмите Continue. Отображается страница создания политики ISM.
   • Policy ID: Введите пользовательское имя политики.
   • Define policy: Определите политику в формате JSON. Вы можете определить политику, изменив пример системы по умолчанию.

     Рисунок 1 Настройка политики

     
     
7. нажмите Create.

После создания ISM‑политики свяжите её с конкретными индексами, чтобы применить её. Рекомендуется связать политику с шаблоном индекса. Это гарантирует, что политика будет автоматически применяться ко всем индексам, созданным на основе этого шаблона.

• Метод 1: Связать политику с шаблоном индекса (рекомендовано)

  Используйте этот метод для индексов, хранящих данные временных рядов.

  Если поле ism_template настроено в JSON‑файле в Step 1: Creating an ISM Policy, созданная политика будет автоматически применяться к новым индексам, соответствующим указанным критериям (например, к любому индексу, имя которого начинается с logs-*). Дополнительный шаг не требуется.

  В следующем примере политика с именем policy1 связана с шаблоном индекса, указанным в ism_template. Политика будет автоматически применяться к новым индексам, имя которых начинается с logs-.

  PUT _plugins/_ism/policies/policy1
  { 
    "policy": { 
      "description": "an example policy", 
      "default_state": "hot", 
      "states": [ 
          // Ignore the states part.
      ], 
      "ism_template": { 
        "index_patterns": [ 
          "logs-*" 
        ], 
        "priority": 100 
      } 
    } 
  }
  
  

• Метод 2: Ручное связывание существующего индекса с политикой

  Используйте этот метод, чтобы связать политику с существующими индексами, которые в данный момент не связаны ни с одной политикой.

  1. Разверните меню OpenSearch Dashboards в верхнем левом углу и выберите Index Management.
  2. нажмите Indices.
  3. В списке Indices выберите один или несколько индексов.
  4. Нажмите Apply policy или Actions > Apply policy в правом верхнем углу. В открывшемся диалоговом окне выберите Policy ID.

     Рисунок 2 Apply policy

     
     
  5. Нажмите Apply.
  6. На странице Managed Indices или Policy managed indexes найдите индексы и убедитесь, что их Policy соответствует связанному идентификатору политики.

После связывания политики с индексами ISM автоматически создает задачу, которая запускается каждые 5 минут для выполнения политики, проверки критериев и изменения состояний индексов в соответствии с политикой.

Чтобы управлять развернутыми политиками, выберите Index Management > Managed Indices или Index Management > Policy managed indexes в OpenSearch Dashboards.

• Просмотр статуса: в списке Managed Indices или Policy managed indexes проверьте политику, связанную с каждым индексом, и статус политики.
• Повторить политику: если политика, связанная с индексом, работает некорректно, выберите этот индекс и нажмите Retry policy.
• Изменить политику: чтобы обновить политику для индекса, нажмите Change policy.
• Удалить политику: чтобы остановить управление жизненным циклом индекса, нажмите Remove policy.

Политику жизненного цикла можно настроить для включения автоматического переключения индексов, то есть автоматического создания нового индекса, когда существующий индекс удовлетворяет определённым условиям (например, когда он достигает заданного возраста в днях). Новый индекс затем принимает последующие записи. По умолчанию, даже если существующий индекс не содержит документов, новые индексы всё равно создаются. Со временем это может привести к большому количеству пустых индексов. Чтобы предотвратить это, CSS позволяет отключить автоматическое переключение для пустых индексов. Это достигается настройкой политики жизненного цикла, позволяющей автоматическое переключение только для индексов, содержащих документы. Таким образом, можно избежать создания избыточного количества пустых индексов, оптимизируя использование хранилища и повышая общую эффективность системы.

Эта функция поддерживается только при выполнении следующих условий OpenSearch‑кластера:

• Версия кластера: 1.3.6 или 2.19.0
• Image version: x.x.x_25.9.0_xxx или позже

Вы можете отключить automatic rollover для пустых индексов на уровне индекса или уровне кластера. Настройки уровня индекса имеют приоритет над настройками уровня кластера. Вы должны настроить это вручную. Команды следующие:

• Отключить empty index automatic rollover для указанного индекса:

  PUT {index_name}/_settings
  {
    "index.plugins.index_state_management.rollover.only_if_has_documents": true
  }
  
  

• Отключить empty index automatic rollover на уровне cluster:

  PUT _cluster/settings
  {
    "persistent": {
      "plugins.index_state_management.rollover.only_if_has_documents": true
    }
  }
  
  

ISM задачи (например, преобразование горячих данных в холодные данные и удаление просроченных индексов) могут завершиться с ошибкой из‑за временных проблем кластера, таких как ограничения ресурсов, перезапуск узлов или сетевые перебои. Для решения этой проблемы CSS автоматически повторно пытается (реактивирует) выполнить неудавшиеся ISM задачи через настроенные интервалы, пока они не завершатся успешно. Это обеспечивает непрерывность и надёжность ISM задач.

Эта функция поддерживается только при выполнении следующих условий OpenSearch кластером:

• Cluster version: 1.3.6 или 2.19.0
• Image version: x.x.x_25.9.0_xxx или позже

Automatic retry of ISM tasks включён по умолчанию для OpenSearch кластеров, которые соответствуют вышеуказанным условиям.

Для OpenSearch кластеров, не соответствующих этим условиям, выполните их обновление, чтобы включить эту функцию. Однако ISM задачи, которые уже завершились с ошибкой до обновления, не будут повторно попытаны после обновления кластера. Вам потребуется вручную повторить их, прежде чем будет выполнена автоматическая повторная попытка. Команда для повторного выполнения неудавшихся ISM задач выглядит следующим образом:

Выполните следующую команду, чтобы изменить настройки автоматической повторной попытки для задач управления жизненным циклом индекса:

PUT _cluster/settings
{
  "persistent": {
    "plugins.index_state_management.coordinator.css.reactivate": true,
    "plugins.index_state_management.coordinator.css.reactivate_period": "5m",
    "plugins.index_state_management.coordinator.css.reactivate_duration": "30m",
    "plugins.index_state_management.coordinator.css.reactivate_max_duration": "12h",
    "plugins.index_state_management.coordinator.css.max_inflight_reactivate_tasks": 1000
  }
}

Соображения идемпотентности при повторных попытках задач ISM

• Идемпотентные операции: все шаги повторяются, начиная с начала, чтобы обеспечить согласованность данных.
• Неидемпотентные операции: повторная попытка начинается с места, где произошел сбой. Если исходная причина сбоя сохраняется, повторные попытки могут постоянно завершаться неудачей, и в этом случае требуется ручное вмешательство.

  Примеры неидемпотентных операций в ISM‑задачах OpenSearch: ForceMerge, Notification, Snapshot и Shrink (только для OpenSearch 2.19.0).

В ISM task details API CSS добавил поля, фиксирующие детали выполнения ISM‑задач. Вы можете выполнить следующую команду, чтобы проверить записи ISM‑задач, включая общее количество сбоев, время их возникновения, время активации и причины сбоев:

Пример ответа: