/DOCS
Облачная платформаAdvanced

Настройка выделенного балансировщика нагрузки для кластера Elasticsearch

Эта статья полезна?
Язык статьи: Русский
Показать оригинал
Страница переведена автоматически и может содержать неточности. Рекомендуем сверяться с английской версией.

CSS интегрирует общие балансировщики нагрузки, через которые вы можете обеспечить доступ к кластеру из публичной сети, а также через сервис VPC Endpoint. Выделенные балансировщики нагрузки обеспечивают более высокую производительность и более разнообразные функции, чем общие балансировщики нагрузки. В этой теме описывается, как настроить выделенный балансировщик нагрузки для кластера.

Сценарии

Преимущества подключения к кластеру через выделенный балансировщик нагрузки:

  • Кластер без безопасности также может использовать возможности сервиса Elastic Load Balance (ELB).
  • Вы можете использовать пользовательские сертификаты для двусторонней аутентификации HTTPS.
  • Поддерживается мониторинг трафика семиуровневой модели и настройка сигнализации, что позволяет вам тщательно отслеживать состояние кластера.

Существует восемь различных форм сервиса ELB для кластеров в разных режимах безопасности, чтобы подключиться к выделенному балансировщику нагрузки. Таблица 1 описывает возможности ELB для различных конфигураций кластера. Таблица 2 описывает конфигурации для различных форм служб ELB.

Таблица 1 ELB возможности для разных кластеров

Режим безопасности

Форма службы, предоставляемая ELB для внешних систем

ELB Load Balancing

ELB Traffic Monitoring

ELB Two-way Authentication

Без защиты

Нет аутентификации

Да

Да

Нет

Односторонняя аутентификация

Двухсторонняя аутентификация

Да

Да

Да

Режим безопасности + HTTP

Аутентификация пароля

Да

Да

Нет

Односторонняя аутентификация + Парольная аутентификация

Двусторонняя аутентификация + Парольная аутентификация

Да

Да

Да

Режим безопасности + HTTPS

Односторонняя аутентификация + Парольная аутентификация

Двусторонняя аутентификация + Парольная аутентификация

Да

Да

Да

Таблица 2 Конфигурации для различных форм сервиса ELB в зависимости от кластера

Security Mode

Форма сервиса, предоставляемая ELB для внешних систем

ELB Listener

ELB Listener

ELB Listener

Группа серверов бэкенда

Группа серверов бэкенда

Группа серверов бэкенда

Протокол фронтенда

Порт фронтенда

Аутентификация SSL

Протокол бэкенда

Порт проверки работоспособности

Путь проверки работоспособности

Безопасность отсутствует

Без аутентификации

HTTP

9200

Без аутентификации

HTTP

9200

/

Односторонняя аутентификация

HTTPS

9200

Односторонняя аутентификация

HTTP

9200

Двухсторонняя аутентификация

HTTPS

9200

Двухсторонняя аутентификация

HTTP

9200

Режим безопасности + HTTP

Парольная аутентификация

HTTP

9200

Без аутентификации

HTTP

9200

/_opendistro/_security/health

Односторонняя аутентификация + Парольная аутентификация

HTTPS

9200

Односторонняя аутентификация

HTTP

9200

Двухсторонняя аутентификация + Парольная аутентификация

HTTPS

9200

Двусторонняя аутентификация

HTTP

9200

Режим безопасности + HTTPS

Односторонняя аутентификация + Аутентификация пароля

HTTPS

9200

Односторонняя аутентификация

HTTPS

9200

Двусторонняя аутентификация + Аутентификация пароля

HTTPS

9200

Двусторонняя аутентификация

HTTPS

9200

Ограничения

  • Не рекомендуется подключать балансировщик нагрузки, связанный с публичным IP-адресом, к кластеру в режиме без защиты. Предоставление доступа из публичной сети через такой балансировщик нагрузки может привести к угрозам безопасности, поскольку кластер в режиме без защиты может быть доступен по HTTP без аутентификации безопасности.
  • Кластеры в режиме защиты с включённым HTTPS не поддерживают аутентификацию фронтенда на основе HTTP. Если фронтенд использует HTTP, сначала отключите режим защиты для кластеров. Для подробностей смотрите Изменение режима защиты кластера Elasticsearch. Перед изменением режима защиты сначала отключите балансировку нагрузки. После изменения режима защиты включите балансировку нагрузки снова.

Требования

  • Создан выделенный балансировщик нагрузки. Для подробностей смотрите . Этот балансировщик нагрузки должен соответствовать следующим требованиям:
    • Её VPC совпадает с VPC кластера CSS. Сеть между ними соединена.
    • IP в качестве бэкенда включено. Это необходимо для подключения выделенного балансировщика нагрузки к кластеру CSS.
    • Определите, следует ли настраивать EIP в соответствии с потребностями сервиса. Публичный IP‑адрес отображается для балансировщика нагрузки, соединяющего кластер CSS, только если настроен EIP. Это позволит получить доступ к кластеру из публичной сети через этот балансировщик нагрузки.
  • Если слушатель ELB использует HTTPS, загрузите серверный сертификат или сертификат CA в консоль ELB. Для получения подробной информации см. .
    • Если используется односторонняя аутентификация, загрузите серверный сертификат.
    • Если используется двусторонняя аутентификация, загрузите серверный сертификат и сертификат CA.

Подключение кластера к балансировщику нагрузки

  1. Войдите в консоль управления CSS.
  2. В навигационной панели слева выберите Кластеры > Elasticsearch.
  3. В списке кластеров щёлкните название целевого кластера. Отобразится страница информации о кластере.
  4. Щёлкните Доступ к кластеру вкладка, а затем щёлкните Балансировка нагрузки вкладка. На Elasticsearch вкладка, включить Балансировка нагрузки. В отображаемом диалоговом окне задайте параметры.
    Таблица 3 Настройка балансировки нагрузки

    Параметр

    Описание

    Балансировщик нагрузки

    Выберите ранее созданный выделенный балансировщик нагрузки.

    Чтобы создать выделенный балансировщик нагрузки, см. .

    Агентство

    Чтобы настроить балансировщик нагрузки, у вас должно быть разрешение на доступ к ресурсам ELB. Настроив IAM агентство, вы можете предоставить CSS доступ к его ресурсам ELB через связанный аккаунт.

    • Если вы настраиваете агентство впервые, нажмите Автоматически создать IAM агентство чтобы создать css-elb-agency.
    • Если ранее автоматически создано IAM-агентство, вы можете нажать One-click authorization чтобы иметь разрешения, связанные с ELB Administrator роль или ELB FullAccess системная политика удаляется автоматически, и вместо неё автоматически добавляются следующие пользовательские политики для реализации более точного контроля разрешений.
      "elb:loadbalancers:list",
      "elb:loadbalancers:get",
      "elb:certificates:list",
      "elb:healthmonitors:*",
      "elb:members:*",
      "elb:pools:*",
      "elb:listeners:*"
    • Для использования Automatically Create IAM Agency и One-click authorization, требуются следующие минимальные разрешения:
      "iam:agencies:listAgencies",
      "iam:roles:listRoles",
      "iam:agencies:getAgency",
      "iam:agencies:createAgency",
      "iam:permissions:listRolesForAgency",
      "iam:permissions:grantRoleToAgency",
      "iam:permissions:listRolesForAgencyOnProject",
      "iam:permissions:revokeRoleFromAgency",
      "iam:roles:createRole"
    • Для использования IAM-агентства требуются следующие минимальные разрешения:
      "iam:agencies:listAgencies",
      "iam:agencies:getAgency",
      "iam:permissions:listRolesForAgencyOnProject",
      "iam:permissions:listRolesForAgency"

  5. Нажмите OK чтобы включить балансировку нагрузки.

    Отображена информация о балансировщике нагрузки.

  6. В Listener Configuration область, нажмите для настройки информации о прослушивателе.
    Table 4 Listener configuration

    Parameter

    Description

    Frontend Protocol

    Протокол, используемый клиентом и прослушивателем для распределения трафика.

    Выберите HTTP или HTTPS.

    Выберите этот протокол в зависимости от ваших требований к подключению.

    Frontend Port

    Порт, используемый клиентом и прослушивателем для распределения трафика.

    Установите этот параметр в соответствии с требованиями сайта.

    SSL Authentication

    Режим аутентификации для клиента при доступе к серверу. Установите этот параметр только когда Фронтенд протокол установлен в HTTPS.

    Поддерживается как односторонняя, так и двусторонняя аутентификация.

    Выберите режим аутентификации, соответствующий вашим потребностям.

    Серверный сертификат

    Серверный сертификат используется для SSL handshake. Содержание сертификата и закрытый ключ должны быть предоставлены. Требуется только когда Фронтенд протокол установлен в HTTPS.

    Выберите серверный сертификат, созданный в ELB.

    CA сертификат

    Также называется клиентским публичным ключевым сертификатом CA. Он используется для проверки эмитента клиентского сертификата. Требуется только когда SSL аутентификация установлено Two-way authentication.

    Выберите сертификат CA, созданный на ELB.

    Когда включена двухсторонняя аутентификация HTTPS, HTTPS‑соединение может быть установлено только тогда, когда клиент может предоставить сертификат, выданный доверенным CA.

    Figure 1 Конфигурация слушателя


  7. (Optional) В Слушатель области, нажмите Настроить рядом с Access Control для перехода к списку слушателей балансировщика нагрузки. Нажмите Настроить в столбце Access Control слушателя, чтобы настроить контроль доступа для этого слушателя. Для получения дополнительной информации см. раздел "What Is Access Control?" в Elastic Load Balance Руководство пользователя.

    Без политик контроля доступа все IP-адреса могут получать доступ к кластеру CSS через этот балансировщик нагрузки, что может создавать угрозы безопасности.

  8. В Health Check области, вы можете просматривать результат проверки состояния для каждого IP-адреса узла.
    Таблица 5 Описание результата проверки состояния

    Health Check Result

    Описание

    Нормальный

    IP-адрес узла подключен.

    Аномальный

    IP-адрес узла отключен.

  9. Если кластер больше не требует выделенного балансировщика нагрузки, отсоедините его, чтобы освободить ресурсы.

    Выберите Load Balancing > Elasticsearch, отключить Балансировка нагрузки. В появившемся диалоговом окне нажмите OK.

    Caution

    После отключения балансировщика нагрузки любые конфигурации слушателей или групп серверов бэкенда будут удалены без возможности восстановления.

Доступ к кластеру через балансировщик нагрузки с помощью выполнения команд cURL

  1. В навигационной панели слева выберите Кластеры.
  2. Войдите в консоль управления CSS.
  3. В навигационной панели слева выберите Кластеры > Elasticsearch.
  4. В списке кластеров щелкните название целевого кластера. Появилась страница информации о кластере.
  5. Щелкните Доступ к кластеру вкладку, а затем щелкните Балансировка нагрузки вкладка. На Elasticsearch вкладка, запишите private или public IP-адрес или IPv6-адрес load balancer, а также протокол/порт frontend слушателя.
    Caution

    Не рекомендуется подключать load balancer, ассоциированный с public IP-адресом, к кластеру в режиме non-security. Разрешение доступа к публичной сети через такой load balancer может вызвать риски безопасности, поскольку кластер в режиме non-security может быть доступен через HTTP без security authentication.

  6. Выполните следующие cURL команды на ECS, чтобы проверить, может ли dedicated load balancer подключиться к кластеру.
    Таблица 6 Команды для доступа к различным типам кластеров

    Режим безопасности

    Форма службы, предоставленная ELB для внешних систем

    cURL команда для доступа к кластеру

    Non-security

    Без аутентификации

    curl  http://IP:port

    Односторонняя аутентификация

    curl --cacert ./ca.crt https://IP:port

    Двусторонняя аутентификация

    curl --cacert ./ca.crt --cert ./client.crt --key ./client.key https://IP:port

    Режим безопасности + HTTP

    Аутентификация по паролю

    curl  http://IP:port -u user:pwd

    Односторонняя аутентификация + Аутентификация по паролю

    curl --cacert ./ca.crt https://IP:port -u user:pwd

    Двунаправленная аутентификация + Аутентификация по паролю

    curl --cacert ./ca.crt --cert ./client.crt --key ./client.key https://IP:port -u user:pwd

    Режим безопасности + HTTPS

    Односторонняя аутентификация + Аутентификация по паролю

    curl --cacert ./ca.crt https://IP:port -u user:pwd

    Двунаправленная аутентификация + Аутентификация по паролю

    curl --cacert ./ca.crt --cert ./client.crt --key ./client.key https://IP:port -u user:pwd
    Таблица 7 Переменные

    Переменная

    Описание

    IP

    IP-адрес экземпляра балансировщика нагрузки.

    порт

    Протокол и порт фронтенда, настроенные для слушателя.

    пользователь

    Имя пользователя кластера. Этот параметр требуется только для кластера с режимом безопасности.

    пароль

    Пароль указанного выше имени пользователя. Этот параметр требуется только для кластера в режиме security-mode.

    Если информация о кластере возвращается, соединение успешно.

Смотрите также: Sample Code for ESSecuredClientWithCerDemo, Sample Code for SecuredHttpClientConfigCallback, and pom.xml Sample Code.

Sample Code for ESSecuredClientWithCerDemo

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103import org.apache.commons.io.IOUtils;
import org.apache.http.auth.AuthScope;
import org.apache.http.auth.UsernamePasswordCredentials;
import org.apache.http.client.CredentialsProvider;
import org.apache.http.impl.client.BasicCredentialsProvider;
import org.apache.http.HttpHost;
import org.apache.http.nio.conn.ssl.SSLIOSessionStrategy;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
импорт org.elasticsearch.client.RestClientBuilder;
импорт org.elasticsearch.client.RestHighLevelClient;
импорт org.elasticsearch.index.query.QueryBuilders;
импорт org.elasticsearch.search.SearchHit;
импорт org.elasticsearch.search.SearchHits;
импорт org.elasticsearch.search.builder.SearchSourceBuilder;
импорт java.io.FileInputStream;
импорт java.io.IOException;
import java.security.KeyStore;
import java.security.SecureRandom;
import javax.net.ssl.HostnameVerifier;
import javax.net.ssl.KeyManagerFactory;
import javax.net.ssl.SSLContext;
import javax.net.ssl.SSLSession;
import javax.net.ssl.TrustManagerFactory;
public class ESSecuredClientWithCerDemo {
    private static final String KEY_STORE_PWD = "";
    private static final String TRUST_KEY_STORE_PWD = "";
    private static final String CA_JKS_PATH = "ca.jks";
    private static final String CLIENT_JKS_PATH = "client.jks";
    private static final String ELB_ADDRESS = "127.0.0.1";
    private static final int ELB_PORT = 9200;
    private static final String CSS_USERNAME = "user";
    private static final String CSS_PWD = "";
    public static void main(String[] args) {
       // Создать клиента.
        RestHighLevelClient client = initESClient(ELB_ADDRESS, CSS_USERNAME, CSS_PWD);
        try {
            // Поиск с использованием match_all, что эквивалентно {\"query\": {\"match_all\": {}}}.
            SearchRequest searchRequest = new SearchRequest();
            SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
            searchSourceBuilder.query(QueryBuilders.matchAllQuery());
            searchRequest.source(searchSourceBuilder);
            // запрос
            SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
            System.out.println("результат запроса: " + searchResponse.toString());
            SearchHits hits = searchResponse.getHits();
            for (SearchHit hit : hits) {
                System.out.println(hit.getSourceAsString());
            }
            System.out.println("query success");
            Thread.sleep(2000L);
        } catch (InterruptedException | IOException e) {
            e.printStackTrace();
        } finally {
            IOUtils.closeQuietly(client);
        }
    }
    private static RestHighLevelClient initESClient(String clusterAddress, String userName, String password) {
        final CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
        credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials(userName, password));
        SSLContext ctx = null;
        try {
            KeyStore ks = getKeyStore(CLIENT_JKS_PATH, KEY_STORE_PWD, "JKS");
            KeyManagerFactory kmf = KeyManagerFactory.getInstance("SunX509");
            kmf.init(ks, KEY_STORE_PWD.toCharArray());
            KeyStore tks = getKeyStore(CA_JKS_PATH, TRUST_KEY_STORE_PWD, "JKS");
            TrustManagerFactory tmf = TrustManagerFactory.getInstance("SunX509");
            tmf.init(tks);
            ctx = SSLContext.getInstance("SSL", "SunJSSE");
            ctx.init(kmf.getKeyManagers(), tmf.getTrustManagers(), new SecureRandom());
        } catch (Exception e) {
            e.printStackTrace();
        }
        SSLIOSessionStrategy sessionStrategy = new SSLIOSessionStrategy(ctx, new HostnameVerifier() {
            @Override
            public boolean verify(String arg0, SSLSession arg1) {
                return true;
            }
        });
        SecuredHttpClientConfigCallback httpClientConfigCallback = new SecuredHttpClientConfigCallback(sessionStrategy,
            credentialsProvider);
        RestClientBuilder builder = RestClient.builder(new HttpHost(clusterAddress, ELB_PORT, "https"))
            .setHttpClientConfigCallback(httpClientConfigCallback);
        RestHighLevelClient client = new RestHighLevelClient(builder);
        return client;
    }
    private static KeyStore getKeyStore(String path, String pwd, String type) {
        KeyStore keyStore = null;
        FileInputStream is = null;
        try {
            is = new FileInputStream(path);
            keyStore = KeyStore.getInstance(type);
            keyStore.load(is, pwd.toCharArray());
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            IOUtils.closeQuietly(is);
        }
        return keyStore;
    }
}

Пример кода для SecuredHttpClientConfigCallback

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59import org.apache.http.client.CredentialsProvider;
import org.apache.http.impl.nio.client.HttpAsyncClientBuilder;
import org.apache.http.nio.conn.ssl.SSLIOSessionStrategy;
import org.elasticsearch.client.RestClientBuilder;
import org.elasticsearch.common.Nullable;
import java.util.Objects;
class SecuredHttpClientConfigCallback implements RestClientBuilder.HttpClientConfigCallback {
    @Nullable
    private final CredentialsProvider credentialsProvider;
    /**
     * {@link SSLIOSessionStrategy} для всех запросов с включённым шифрованием SSL / TLS.
     */
    private final SSLIOSessionStrategy sslStrategy;
    /**
     * Создать новый {@link SecuredHttpClientConfigCallback}.
     *
     * @param credentialsProvider Провайдер учетных данных, если указаны имя пользователя/пароль
     * @param sslStrategy         Стратегия SSL, если указаны SSL / TLS
     * @throws NullPointerException если {@code sslStrategy} является {@code null}
     */
    SecuredHttpClientConfigCallback(final SSLIOSessionStrategy sslStrategy,
        @Nullable final CredentialsProvider credentialsProvider) {
        this.sslStrategy = Objects.requireNonNull(sslStrategy);
        this.credentialsProvider = credentialsProvider;
    }
    /**
     * Получить {@link CredentialsProvider}, который будет добавлен в HTTP‑клиент.
     *
     * @return Может быть {@code null}.
     */
    @Nullable
    CredentialsProvider getCredentialsProvider() {
        return credentialsProvider;
    }
    /**
     * Получить {@link SSLIOSessionStrategy}, который будет добавлен в HTTP‑клиент.
     *
     * @return Никогда {@code null}.
     */
    SSLIOSessionStrategy getSSLStrategy() {
        return sslStrategy;
    }
    /**
     * Устанавливает {@linkplain HttpAsyncClientBuilder#setDefaultCredentialsProvider(CredentialsProvider) провайдер учетных данных},
     *
     * @param httpClientBuilder Клиент для настройки.
     * @return Всегда {@code httpClientBuilder}.
     */
    @Override
    public HttpAsyncClientBuilder customizeHttpClient(final HttpAsyncClientBuilder httpClientBuilder) {
        // включить SSL / TLS
        httpClientBuilder.setSSLStrategy(sslStrategy);
        // включить аутентификацию пользователя
        if (credentialsProvider != null) {
            httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider);
        }
        return httpClientBuilder;
    }
}

pom.xml Пример кода

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>1</groupId>
    <artifactId>ESClient</artifactId>
    <version>1.0-SNAPSHOT</version>
    <name>ESClient</name>


    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.компилятор.цель>
        <проект.сборка.sourceEncoding>UTF-8</проект.сборка.sourceEncoding>
        <elasticsearch.версия>7.10.2</elasticsearch.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>транспорт</artifactId>
            <версия>${elasticsearch.версия}</версия>
        </зависимость>
        <зависимость>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch</artifactId>
            <version>${elasticsearch.version}</version>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-высокий-уровень-клиент</artifactId>
            <версия>${elasticsearch.версия}</версия>
        </зависимость>
        <зависимость>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <версия>2.11.0</version>
        </зависимость>
    </зависимости>
</проект>
Поддержка Юридические документы
© 2026 Cloud.ru