Настройка Read/Write Splitting Between Two Elasticsearch Clusters

Сценарий

1. Запись данных: Пользователи отправляют запросы на запись, и ведущий кластер обрабатывает эти запросы.
2. Синхронизация данных.

   Ведущий синхронтизирует изменения данных с репликой через REST API. Поддерживаются два метода синхронизации:

   • Exact match: синхронизация указанного индекса
   • Match by wildcard: пакетная синхронизация индексов, соответствующих выражению с подстановочным знаком

3. Query processing: Пользователи отправляют запросы. Кластер‑реплика обрабатывает эти запросы и возвращает результаты.

Рис. 1 Как работает разбиение чтения/записи

• Разделение чтения и записи, когда оба кластера доступны (слева): Ведущий обрабатывает записи, а реплика обрабатывает запросы.
• Переключение с ведущего на реплику при отказе ведущего (справа): Если ведущий становится недоступен, реплика автоматически повышается до ведущего, чтобы обеспечить непрерывность сервиса. Для подробностей см. Переключение ролей лидирующего и ведомого кластеров.

Ограничения

• Только кластеры Elasticsearch 7.6.2 и Elasticsearch 7.10.2 поддерживают разделение чтения/записи.
• Версии лидирующего и ведомого кластеров должны быть согласованы, иначе могут возникнуть ошибки.

Предварительные требования

Вход в Kibana

1. Войдите в консоль управления CSS.
2. В левой навигационной панели выберите Кластеры > Elasticsearch.
3. В списке кластеров найдите целевой кластер и щелкните Kibana в Операция столбец для входа в консоль Kibana.
4. В левой навигационной панели выберите Dev Tools.

   Левая часть консоли — это поле ввода команды, а треугольный значок в её правом верхнем углу — кнопка выполнения. Правая часть отображает результат выполнения.

Подключение Leader и Follower кластеров

1. Выполните следующую команду, чтобы настроить информацию о leader кластере в follower кластере:

   PUT /_cluster/settings
   {
     "persistent" : {
       "cluster" : {
         "remote.rest" : {
           "leader1" : {
             "seeds" : [
               "http://10.0.0.1:9200",
               "http://10.0.0.2:9200",
               "http://10.0.0.3:9200"
             ] ,
               "username": "elastic",
               "password": "*****"
           }
         }
       }
     }
   }
   
   

   Таблица 1 Параметры тела запроса

   Параметр	Описание
   leader1	Имя задачи конфигурации лидирующего кластера, задаваемой пользователем и которое будет использоваться для настройки разделения чтения/записи позже.
   посевы	Адрес для доступа к лидирующему кластеру. Когда для кластера включён HTTPS, схема URL должна использовать HTTPS.
   имя пользователя	Имя пользователя лидирующего кластера. Этот параметр обязателен только когда для лидирующего кластера включён режим безопасности.
   пароль	Пароль лидирующего кластера. Этот параметр обязателен только когда для лидирующего кластера включён режим безопасности.

   Example response:

   {
     "acknowledged" : true,  //Whether the operation is successful
     "persistent" : {
       "cluster" : {
         "remote" : {
           "rest" : {
             "leader1" : {
               "seeds" : [
               "http://10.0.0.1:9200",
               "http://10.0.0.2:9200",
               "http://10.0.0.3:9200"
               ] ,
               "username": "elastic", 
                "password": "*****"
             }
           }
         }
       }
     },
     "transient" : { }
   }
   
   

2. После завершения конфигурации выполните следующую команду в кластере‑подписчике, чтобы проверить соединение между кластерами‑подписчиками и лидирующими кластерами:

   GET _remote/rest/info
   
   

   Example response:

   {
     "leader1" : {
       "connected" : true  //The two clusters are connected.
     }
   }
   
   

Index Synchronization

Синхронизация указанных индексов

• Выполните следующую команду в кластере‑подписчике, чтобы синхронизировать отдельный индекс из кластера‑лидера в кластер‑подписчик без изменения настроек индекса:

  PUT start_remote_sync
  {
    "remote_cluster": "leader1",
    "remote_index": "data1_leader",
    "local_index": "data1_follower"
  }
  
  

• Выполните следующую команду в кластере‑подписчике, чтобы синхронизировать отдельный индекс из кластера‑лидера в кластер‑подписчик, изменяя некоторые настройки индекса—включая синхронизацию настроек индекса:

  PUT start_remote_sync
  {
    "remote_cluster": "leader1",
    "remote_index": "data1_leader",
    "local_index": "data1_follower",
    "settings": {
      "number_of_replicas": 4
    },
    "settings_sync_enable": true,
    "settings_sync_patterns": ["*"],
    "settings_sync_exclude_patterns": ["index.routing.allocation.*"],
    "alias_sync_enable": true,
    "state_sync_enable": true
  }
  
  

  Note

  Следующие параметры конфигурации индекса нельзя изменять: number_of_shards, version.created, uuid, creation_date, и soft_deletes.enabled.

Matching Index Synchronization

• Run the following command in the follower cluster to create a pattern-matching index synchronization policy, which synchronizes matched indexes from the leader cluster to the follower cluster:

  PUT auto_sync/pattern/${PATTERN}
  {
   "remote_cluster": "leader1",
   "remote_index_patterns": "log*",
   "local_index_pattern": "{{remote_index}}-sync",
   "apply_exist_index": true
  }
  
  

• Run the following command in the follower cluster to create a pattern-matching index synchronization policy, which synchronizes matched indexes from the leader cluster to the follower cluster, with some of the index settings modified—enabling synchronization of index settings:

  PUT auto_sync/pattern/${PATTERN}
  {
   "remote_cluster": "leader1",
   "remote_index_patterns": "log*",
   "local_index_pattern": "{{remote_index}}-sync",
   "apply_exist_index": true,
   "settings": {
     "number_of_replicas": 4
   },
   "settings_sync_enable": true,
   "settings_sync_patterns": ["*"],
   "settings_sync_exclude_patterns": ["index.routing.allocation.*"],
   "alias_sync_enable": true,
   "state_sync_enable": true
  }
  
  

  Note

  The following index configuration items cannot be modified: number_of_shards, version.created, uuid, creation_date, и soft_deletes.enabled.

Stopping Index Synchronization

PUT log*/stop_remote_sync

Querying and Deleting Created Patterns

1. Выполните следующую команду в кластере‑подписчике, чтобы запросить созданные шаблоны:
   • Запросите список шаблонов.

     GET auto_sync/pattern
     
     

   • Запросите указанный шаблон по имени.

     GET auto_sync/pattern/{PATTERN}
     
     

   Ниже приведён пример ответа:

   {
     "patterns" : [
       {
         "name" : "pattern1",
         "pattern" : {
           "remote_cluster" : "leader",
           "remote_index_patterns" : [
             "log*"
           ],
           "local_index_pattern" : "{{remote_index}}-sync",
           "settings" : { }
         }
       }
     ]
   }
   
   

2. Выполните следующую команду в кластере‑подписчике, чтобы удалить указанный шаблон по имени:

   DELETE auto_sync/pattern/{PATTERN}
   
   

Enabling Forcible Synchronization

PUT _cluster/settings
{
  "persistent": {
    "remote_sync.force_synchronize": true
  }
}

Изменение интервала синхронизации

PUT {index_name}/_settings
{
  "index.remote_sync.sync_interval": "2s"
}

Изменение скорости синхронизации

PUT _cluster/settings
{
  "persistent": {
    "remote_sync.chunk_size": "2MB",
    "remote_sync.max_concurrent_file_chunks": 20,
    "remote_sync.max_bytes_per_sec": "100MB"
  }
}

Запрос статуса синхронизации индекса

GET {index_name}/sync_stats

{
  "indices" : {
    "data1_follower" : {
      "shards" : {
        "0" : [
          {
            "primary" : false,             // Whether it is a primary shard
            "total_synced_times" : 27,    // Total synchronization times
            "total_empty_times" : 25,     // Total number of times when no data is synchronized between the leader and follower clusters because they have identical shards and data
            "total_synced_files" : 4,    // Number of synchronized files
            "total_synced_bytes" : 3580, // Total size of synchronized files
            "total_paused_nanos" : 0,   //Duration of synchronization pauses due to traffic throttling
            "total_paused_times" : 0,   //Number of synchronization pauses due to traffic throttling
            "current" : {
              "files_count" : 0, //Number of files that are being synchronized
              "finished_files_count" : 0, //Number of files that have been synchronized
              "bytes" : 0, //Size of files that are being synchronized
              "finished_bytes" : 0 //Size of files that have been synchronized
            }
          },
          {
            "primary" : true,             // Whether it is a primary shard
            "total_synced_times" : 28,    // Total synchronization times
            "total_empty_times" : 26,     // Total number of times when no data is synchronized between the leader and follower clusters because they have identical shards and data
            "total_synced_files": 20,    // Number of synchronized files
            "total_synced_bytes": 17547, // Total size of synchronized files
            "total_paused_nanos" : 0,     //Duration of synchronization pauses due to traffic throttling
            "total_paused_times" : 0,     //Number of synchronization pauses due to traffic throttling
            "current" : {
              "files_count" : 0,          //Number of files that are being synchronized
              "finished_files_count" : 0, //Number of files that have been synchronized
              "bytes" : 0,                //Size of files that are being synchronized
              "finished_bytes" : 0        //Size of files that have been synchronized
            }
          }
        ]
      }
    }
  }
}

Переключение ролей лидирующего и ведомого кластеров

1. Определите метод синхронизации индексов между лидирующим и ведомым кластерами. Проверьте, были ли настроены политики синхронизации индексов по шаблону в ведомом кластере. Команда, которую следует использовать, см Запрос и удаление созданных шаблонов.
   • Если таких политик нет, синхронизация выполняется для указанных индексов между лидирующим и ведомым кластерами. В этом случае перейдите к 3.
   • Если такие политики имеются, синхронизация индексов между лидирующим и ведомым кластерами осуществляется на основе шаблонов индексов. В этом случае перейдите к 2.
2. Удалить политики синхронизации индексов по шаблону в кластере‑подписчике. Для используемой команды см Запрос и удаление созданных шаблонов.
3. Выполнить Остановка синхронизации индексов в кластере‑подписчике. Затем перенаправьте чтение и запись трафика на него. Если кластер‑лидер и кластер‑подписчик синхронизируют индексы по шаблонам индексов, используйте подстановочный знак для сопоставления индексов при выполнении команды, останавливающей синхронизацию индексов.
4. После восстановления кластера‑лидера настройте информацию о кластере‑подписчике в кластере‑лидере и снова подключите кластеры‑лидер и‑подписчик. Для подробностей см Подключение кластера‑лидера и кластера‑подписчика.
5. В кластере‑лидере выполните Синхронизация индексов для синхронизации данных из кластера‑подписчика в кластер‑лидера, а затем выполнить переключение лидер/подписчик для возврата.