Создание эластичного ресурсного пула и создание очередей в нём

Примечания и ограничения

Создание Elastic Resource Pool

1. В навигационной панели слева выберите Ресурсы > Пул ресурсов.
2. На отображаемой странице нажмите Купить пул ресурсов в правом верхнем углу.
3. На отображаемой странице задайте следующие параметры:

   Таблица 2 Описание параметров

   Параметр	Описание
   Регион	Выберите регион, в котором вы хотите приобрести эластичный пул ресурсов. Регион обозначает местоположение физического дата‑центра эластичного пула ресурсов. Выберите регион, близкий к вам, чтобы обеспечить минимальную задержку
   Проект	Каждый регион соответствует проекту.
   Имя	Название эластичного пула ресурсов. Допускаются только цифры, буквы и символы подчеркивания (_). Значение не может состоять только из цифр или начинаться с подчеркивания (_) или цифры. Значение может содержать не более 128 символов. NOTE: Название эластичного пула ресурсов не чувствительно к регистру. Прописные буквы будут автоматически преобразованы в строчные.
   Тип	Basic edition: предлагает от 16 CUs до 64 CUs Это издание подходит для тестовых сценариев с небольшим потреблением ресурсов и низкими требованиями к надежности и доступности ресурсов. Высокая надежность и доступность не поддерживаются. Приоритеты Джобы нельзя установить. Standard edition: предлагает минимум 64 CUs Это издание предлагает мощные вычислительные возможности, высокую доступность и гибкое управление ресурсами. Оно подходит для задач крупномасштабных вычислений и бизнес-сценариев с потребностями в долгосрочном планировании ресурсов.
   Диапазон CU	Максимальное и минимальное количество CU, разрешённые для эластичного пула ресурсов. Настройки CU используются для контроля максимальных и минимальных диапазонов CU при масштабировании эластичного пула ресурсов, чтобы предотвратить риск неограниченного расширения ресурсов. В Диапазон CU, установите минимальное количество CU слева и максимальное количество CU справа. Общее минимальное количество CU всех очередей в эластичном пуле ресурсов не должно превышать минимальное количество CU пула. Максимальное количество CU любой очереди в эластичном пуле ресурсов не должно превышать максимальное количество CU пула. Эластичный пул ресурсов должен как минимум гарантировать, что все очереди в нём могут работать с минимальными CUs, и должен попытаться гарантировать, что все очереди в нём могут работать с максимальными CUs. Спецификации эластичного пула ресурсов равны минимальным CUs, выделенным при создании. Это означает, что когда эластичный пул ресурсов создаётся впервые, фактические CUs будут равны спецификациям, что также является минимальными CUs.
   Описание	Описание эластичного пула ресурсов
   CIDR Блок	CIDR-блок, к которому относится эластичный пул ресурсов. Если вы используете расширенное подключение к источнику данных, этот CIDR-блок не может перекрываться с блоком источника данных. После установки этот CIDR-блок нельзя изменить. Рекомендуемые CIDR блоки: 10.0.0.0–10.255.0.0/16–19 172.16.0.0–172.31.0.0/16–19 192.168.0.0–192.168.0.0/16–19
   Enterprise Проект	Если созданный elastic пул ресурсов принадлежит Enterprise проекту, выберите Enterprise проект. Enterprise проекты позволяют управлять облачными ресурсами и пользователями по проекту. ПРИМЕЧАНИЕ: Этот параметр доступен только для пользователей, подписавшихся на Enterprise Management Service.
   Теги	Tags used to identify cloud resources. A tag includes the tag key and tag value. If you want to use the same tag to identify multiple cloud resources, that is, to select the same tag from the drop-down list box for all services, you are advised to create predefined tags on the Tag Management Service (TMS). ПРИМЕЧАНИЕ: Можно добавить максимум 20 тегов. К одному ключу тега можно добавить только одно значение тега. Имя ключа в каждом ресурсе должно быть уникальным. Ключ тега: введите имя ключа тега в текстовое поле. ПРИМЕЧАНИЕ: A tag key can contain a maximum of 128 characters. Only letters, digits, spaces, and special characters (_.:+-@) are allowed, but the value cannot start or end with a space or start with _sys_. Tag value: Enter a tag value in the text box. NOTE: A tag value can contain a maximum of 255 characters. Only letters, digits, spaces, and special characters (_.:+-@) are allowed.

4. Click Buy and confirm the configurations.
5. Click Pay. Wait until the status of the elastic resource pool changes to Available. The elastic resource pool is successfully created.
6. Refer to Example Use Case: Creating an Elastic Resource Pool and Running Jobs and Example Use Case: Configuring Scaling Policies for Queues in an Elastic Resource Pool to perform subsequent operations as needed.

Creating Queues Within an Elastic Resource Pool

1. In the navigation pane on the left, choose Resources > Resource Pool.
2. Locate the elastic resource pool in which you want to create queues and click Add Queue in the Operation column.
3. On the Add Queue страница, задайте базовые параметры очереди на основе таблицы ниже.

   Таблица 3 Базовые параметры для добавления очереди

   Параметр	Описание
   Имя	Имя очереди для добавления
   Тип	Для SQL: Очередь используется для выполнения SQL‑задач. Для общего назначения: Очередь используется для выполнения задач Spark и Flink.
   Движок	Если Тип является Для SQL, движок очереди может быть Spark или HetuEngine. Если HetuEngine выбрано, минимальное количество CUs SQL‑очереди не может быть меньше 96 CUs. Для использования HetuEngine для отправки SQL jobs, вам необходимо настроить DLI job bucket. Подробнее см. Настройка DLI Job Бакет.
   Enterprise Проект	Выберите enterprise проект, к которому принадлежит очередь. Очереди в разных enterprise проектах можно добавить в эластичный пул ресурсов. Enterprise проекты позволяют управлять облачными ресурсами и пользователями по проекту. ПРИМЕЧАНИЕ: Этот параметр доступен только для пользователей, подписанных на Enterprise Management Service.
   Описание	Описание очереди.
   Теги	Tags used to identify cloud resources. A tag includes the tag key and tag value. If you want to use the same tag to identify multiple cloud resources, that is, to select the same tag from the drop-down list box for all services, you are advised to create predefined tags on the Tag Management Service (TMS). NOTE: A maximum of 20 tags can be added. Only one tag value can be added to a tag key. The key name in each resource must be unique. Tag key: Enter a tag key name in the text box. NOTE: A tag key can contain a maximum of 128 characters. Only letters, digits, spaces, and special characters (_.:+-@) are allowed, but the value cannot start or end with a space or start with _sys_. Tag value: Enter a tag value in the text box. NOTE: A tag value can contain a maximum of 255 characters. Only letters, digits, spaces, and special characters (_.:+-@) are allowed.

4. Нажмите Далее. На отображаемой странице настройте политику масштабирования для очереди в эластичном пуле ресурсов.

   Нажмите Создать для добавления политики масштабирования с различными приоритетом, периодом, минимальными CUs и максимальными CUs. Параметры каждой политики масштабирования:

   Таблица 4 Параметры политики масштабирования

   Параметр	Описание
   Приоритет	Приоритет политики масштабирования в текущем эластичном пуле ресурсов. Более высокое значение указывает на более высокий приоритет. Можно задать число от 1 до 100.
   Период	Временной сегмент, когда политика применяется. Устанавливается только по часам. Время начала находится слева, а время окончания — справа. Диапазон времени включает время начала, но не время окончания, то есть [время начала, время окончания). Например, если вы задаете Период до 01 и 17, политика масштабирования вступает в силу в 01:00 a.m. до 05:00 p.m. Периоды масштабирующих политик с разными приоритетами не должны пересекаться.
   Min CU	Минимальное количество CU, разрешённое политикой масштабирования. В любом временном промежутке дня суммарное минимальное количество CU всех очередей в гибком пуле ресурсов не может превышать минимальное количество CU пула. Если минимальное количество CU в очереди меньше 16 CU, оба Max. Spark Driver Instances и Max. Prestart Spark Driver Instances установленные в свойствах очереди не применяются. См Настройка свойств очереди. Для очереди HetuEngine SQL должно быть не менее 96 CU.
   Максимальное CU	Максимальное количество CU, разрешённое политикой масштабирования. В любом временном интервале дня максимальное количество CU любой очереди в эластичном пуле ресурсов не может превышать максимальное количество CU пула. Максимальное количество CU очереди в эластичном пуле ресурсов базовой редакции должно быть кратным 4. Максимальное количество CU очереди в эластичном пуле ресурсов стандартной редакции должно быть кратным 16.
   Использовать максимальное CU пула ресурсов	При выборе максимальное количество CU очередей будет равно максимальному количеству CU пула ресурсов в период, указанный текущей политикой масштабирования. Увеличение максимального количества CU эластичного пула ресурсов автоматически приводит к согласованию максимального количества CU очереди без ручного вмешательства. Настройка действует только в период, указанный текущей политикой масштабирования. Для остальных периодов необходимо вручную настроить ограничения CU.

   Note

   • Первая политика масштабирования является политикой по умолчанию, и её Период конфигурацию параметров нельзя удалить или изменить.
   • Flink jobs не могут запускать автоматическое масштабирование очередей в эластичном пуле ресурсов.

5. Нажмите OK. Просмотрите все очереди и политики масштабирования, добавленные в эластичный пул ресурсов, обратившись к Настройка политик масштабирования очередей в эластичном пуле ресурсов.