/DOCS
Облачная платформаAdvanced

Создание эластичного пула ресурсов и создание очередей в нём

Эта статья полезна?
Язык статьи: Русский
Показать оригинал
Страница переведена автоматически и может содержать неточности. Рекомендуем сверяться с английской версией.

Эластичный пул ресурсов предоставляет вычислительные ресурсы (CPU и память), необходимые для выполнения DLI‑задач, которые могут адаптироваться к меняющимся требованиям сервисов.

Вы можете создать несколько очередей в эластичном пуле ресурсов. Эти очереди связаны с конкретными задачами и задачами обработки данных и служат базовой единицей распределения и использования ресурсов в пуле. Это означает, что очереди представляют собой специфические вычислительные ресурсы, необходимые для выполнения задач.

Очереди в эластичном пуле ресурсов могут быть общими для выполнения задач. Это достигается правильной настройкой политики распределения очередей. Это повышает использование очередей. В этом разделе описывается, как создать эластичный пул ресурсов и создать очереди в нём.

Note

Эластичные пулы ресурсов DLI физически изолированы, тогда как очереди в одном и том же эластичном пуле ресурсов логически изолированы.

Рекомендуется создавать отдельные эластичные пулы ресурсов для тестовых и продакшн‑сценариев, чтобы обеспечить независимость и безопасность управления ресурсами за счёт физической изоляции.

Примечания и ограничения

Таблица 1 Примечания и ограничения по эластичным ресурсным пулам

Элемент

Описание

Характеристики ресурсов

  • Эластичный ресурсный пул в настоящее время поддерживает до 32 000 CUs.

Управление эластичными ресурсными пулами

  • Вы не можете изменить регион эластичного ресурсного пула после его создания.
  • Задания Flink 1.10 и более поздних версий могут выполняться в эластичных ресурсных пулах.
  • CIDR-блок эластичного ресурсного пула нельзя изменить после установки.
  • Вы можете просматривать только историю масштабирования эластичного ресурсного пула за последние 30 дней.
  • Эластичные ресурсные пулы не могут напрямую получать доступ к Internet.

Масштабирование эластичного ресурсного пула

  • Changes to elastic resource pool CUs can occur when setting the CU, adding or deleting queues in an elastic resource pool, or modifying the scaling policies of queues in an elastic resource pool, or when the system automatically triggers elastic resource pool scaling. However, in some cases, the system cannot guarantee that the scaling will reach the target CUs as planned.
    • If there are not enough physical resources, an elastic resource pool may not be able to scale out to the desired target size.
    • The system does not guarantee that an elastic resource pool will be scaled in to the desired target size.

      The system checks the resource usage before scaling in the elastic resource pool to determine if there is enough space for scaling in. If the existing resources cannot be scaled in according to the minimum scaling step, the pool may not be scaled in successfully or only partially.

      The scaling step may vary depending on the resource specifications, usually 16 CUs, 32 CUs, 48 CUs, 64 CUs, etc.

      For example, if the elastic resource pool has a capacity of 192 CUs and the queues in the pool are using 68 CUs due to running jobs, the plan is to scale in to 64 CUs.

      When executing a scaling in task, the system determines that there are 124 CUs remaining and scales in by the minimum step of 64 CUs. However, the remaining 60 CUs cannot be scaled in any further. Therefore, after the elastic resource pool executes the scaling in task, its capacity is reduced to 128 CUs.

Creating an Elastic Resource Pool

  1. In the navigation pane on the left, choose Resources > Resource Pool.
  2. On the displayed page, click Buy Resource Pool in the upper right corner.
  3. On the displayed page, set the following parameters:

    Table 2 Parameters

    Parameter

    Description

    Region

    Select a region. Select a region near you to ensure the lowest latency possible.

    Project

    Each region corresponds to a project.

    Name

    Name of the elastic resource pool.

    • Only numbers, letters, and underscores (_) are allowed. The value cannot contain only numbers or start with an underscore (_) or number.
    • The value can contain a maximum of 128 characters.
    NOTE:

    The elastic resource pool name is case-insensitive. Uppercase letters will be automatically converted to lowercase letters.

    Type

    • Basic edition: offers 16 CUs to 64 CUs
      • This edition is suitable for testing scenarios with low resource consumption and low requirements for resource reliability and availability.
      • High reliability and availability are not supported.
      • Queue properties cannot be set.
      • Job priorities are not supported.
      • Notebook instances cannot be interconnected with.
    • Standard edition: offers at least 64 CUs

      This edition offers powerful computing capabilities, high availability, and flexible resource management. It is suitable for large-scale computing tasks and business scenarios with long-term resource planning needs.

    CU Range

    The maximum and minimum CUs allowed for the elastic resource pool.

    CU settings are used to control the maximum and minimum CU ranges for elastic resource pools to avoid unlimited resource scaling.

    In CU Range, set the minimum CUs on the left and the maximum CUs on the right.

    • The total minimum CUs of all queues in an elastic resource pool must be no more than the minimum CUs of the pool.
    • The maximum CUs of any queue in an elastic resource pool must be no more than the maximum CUs of the pool.

    Эластичный пул ресурсов должен как минимум гарантировать, что все очереди в нём могут работать с минимальными CUs, и должен пытаться гарантировать, что все очереди в нём могут работать с максимальными CUs.

    Спецификации эластичного пула ресурсов равны минимальным CUs, выделенным при создании. Это значит, что когда эластичный пул ресурсов создаётся впервые, фактические CUs будут равны спецификациям, которые также являются минимальными CUs.

    Описание

    Описание эластичного пула ресурсов

    CIDR Блок

    CIDR блок, к которому принадлежит эластичный пул ресурсов. Если вы используете расширенное подключение к источнику данных, этот CIDR блок не может перекрывать блок источника данных. После установки этот CIDR блок нельзя изменить.

    Рекомендованный CIDR блок:

    10.0.0.0–10.255.0.0/16–19

    172.16.0.0–172.31.0.0/16–19

    192.168.0.0–192.168.0.0/16–19

    Enterprise Проект

    Если созданный эластичный пул ресурсов принадлежит enterprise‑проекту, выберите enterprise‑проект.

    Enterprise проекты позволяют управлять облачными ресурсами и пользователями по проекту.

    NOTE:

    Этот параметр отображается только для пользователей, которые включили Enterprise Management Service.

  4. Нажмите Купить и подтвердите настройки.
  5. Нажмите Оплатить. Подождите, пока статус эластичного пула ресурсов изменится на Доступно. Эластичный пул ресурсов успешно создан.
  6. См. Пример использования: создание эластичного пула ресурсов и запуск задач и Пример использования: настройка политик масштабирования для очередей в эластичном пуле ресурсов для выполнения последующих операций по мере необходимости.

Создание очередей в Elastic Resource Pool

Создайте одну или несколько очередей в elastic resource pool для выполнения задач. В этом разделе описывается, как создать очередь в elastic resource pool.

Создание очереди в elastic resource pool вызовет изменения elastic resource CUs.

  1. В навигационной панели слева выберите Ресурсы > Пул ресурсов.
  2. Найдите elastic resource pool, в котором вы хотите создать очереди, и нажмите Добавить очередь в Операция столбце.
  3. На Добавить очередь странице установите основные параметры очереди в соответствии с таблицей ниже.

    Таблица 3 Основные параметры для добавления очереди

    Параметр

    Описание

    Имя

    Имя очереди для добавления

    Тип

    • Для SQL: Очередь используется для выполнения SQL‑заданий.
    • Для общего назначения: Очередь используется для выполнения задач Spark и Flink.

    Движок

    Если Тип является Для SQL, движок очереди может быть Spark или HetuEngine.

    Для очереди HetuEngine SQL необходимо минимум 96 CUs.

    Для использования HetuEngine для отправки заданий SQL необходимо настроить DLI job bucket. Для получения подробной информации см Configuring a DLI Job Bucket.

    Enterprise Project

    Выберите Enterprise project, к которому относится очередь. Очереди из разных Enterprise project можно добавить в elastic resource pool.

    Enterprise projects позволяют управлять облачными ресурсами и пользователями по проектам.

    NOTE:

    Этот параметр доступен только пользователям, подписанным на Enterprise Management Service.

    Описание

    Описание очереди.

  4. Нажмите Далее. На отображаемой странице настройте политику масштабирования для очереди в elastic resource pool.

    Нажмите Создать добавить политику масштабирования с различными приоритетом, периодом, минимальными CUs и максимальными CUs. Параметры каждой политики масштабирования:

    Таблица 4 Параметры политики масштабирования

    Параметр

    Описание

    Приоритет

    Приоритет политики масштабирования в текущем пуле эластичных ресурсов. Большое значение указывает на более высокий приоритет. Можно задать число от 1 до 100.

    Период

    Временной отрезок, в который действует политика. Можно задавать только по часам. Время начала отображается слева, время окончания — справа.

    • Диапазон времени включает время начала, но не включает время окончания, то есть [время начала, время окончания).

      Например, если задать Период по 01 и 17, политика масштабирования вступает в силу с 01:00 a.m. до 05:00 p.m.

    • Периоды политик масштабирования с разными приоритетами не должны пересекаться.

    Мин CU

    Минимальное количество CU, разрешённое политикой масштабирования.

    • В любом временном промежутке дня общее минимальное количество CU всех очередей в эластичном пуле ресурсов не может превышать минимальное количество CU пула.
    • Если минимальное количество CU очереди меньше 16 CU, оба Max. Spark Driver Instances и Max. Prestart Spark Driver Instances установленные в свойствах очереди не применяются. См. Настройка свойств очереди.

    Для очереди HetuEngine SQL должно быть как минимум 96 CU.

    Макс CU

    Максимальное количество CU, разрешённое политикой масштабирования.

    В любом временном сегменте дня максимальное количество CUs любой очереди в эластичном пуле ресурсов не может превышать максимальное количество CUs пула.

    Note
    • Первая политика масштабирования — политика по умолчанию, и её Период Конфигурацию параметра нельзя удалить или изменить.
    • Задачи Flink не могут вызывать автоматическое масштабирование очередей в эластичном пуле ресурсов.

  5. Нажмите OK. Просмотрите все очереди и политики масштабирования, добавленные в эластичный пул ресурсов, обратившись к Настройка политик масштабирования очередей в эластичном пуле ресурсов.
Поддержка Юридические документы
© 2025 Cloud.ru