Примечания и ограничения

Спецификации ресурсов

• Эластичный пул ресурсов в настоящее время поддерживает до 32 000 CUs.

Управление эластичными пулами ресурсов

• Вы не можете изменить регион эластичного пула ресурсов после его создания.
• Задания Flink 1.10 или более поздних версий могут выполняться в эластичных пулах ресурсов.
• CIDR‑блок эластичного пула ресурсов нельзя изменить после установки.
• Вы можете просматривать историю масштабирования эластичного пула ресурсов только в течение 30 дней.
• Эластичные пулы ресурсов не могут напрямую обращаться к Интернету.

Масштабирование эластичного пула ресурсов

• Изменения CUs elastic resource pool могут происходить при установке CU, добавлении или удалении очередей в elastic resource pool, изменении политик масштабирования очередей в elastic resource pool или когда система автоматически инициирует масштабирование elastic resource pool. Однако в некоторых случаях система не может гарантировать, что масштабирование достигнет целевых CUs согласно плану.
  • Если физических ресурсов недостаточно, elastic resource pool может не масштабировать наружу до желаемого целевого размера.
  • Система не гарантирует, что elastic resource pool будет масштабирован внутрь до желаемого целевого размера.

    Система проверяет использование ресурсов перед масштабированием elastic resource pool, чтобы определить, достаточно ли места для масштабирования внутрь. Если существующие ресурсы нельзя масштабировать внутрь согласно минимальному шагу масштабирования, пул может не масштабироваться успешно или только частично.

    Шаг масштабирования может различаться в зависимости от характеристик ресурсов, обычно 16 CUs, 32 CUs, 48 CUs, 64 CUs и более.

    Например, если elastic resource pool имеет ёмкость 192 CUs, а очереди в пуле используют 68 CUs из‑за запущенных задач, планируется масштабировать внутрь до 64 CUs.

    При выполнении задачи масштабирования внутрь система определяет, что остаётся 124 CUs, и масштабирует внутрь минимумом в 64 CUs. Однако оставшиеся 60 CUs дальше масштабировать внутрь нельзя. Поэтому после выполнения задачи масштабирования внутрь elastic resource pool его ёмкость снижается до 128 CUs.

Resource type

• Queue types:
  • default queue: Очередь с именем default предустановлена в DLI, где вы можете использовать ресурсы по требованию.
  • Для SQL: задачи Spark SQL могут быть отправлены в очереди SQL.
  • Для общего назначения: очередь используется для выполнения программ Spark, задач Flink SQL и задач Flink Jar.
• Тип очереди нельзя изменить после её покупки. Чтобы использовать другой тип очереди, приобретите новую очередь.

Управление очередями

• Регион очереди нельзя изменить.
• Очереди DLI не могут получать доступ к Интернету.

Масштабирование очереди

• Очереди с 16 CU не поддерживают scale-out или scale-in.
• Очереди с 64 CU не поддерживают scale-in.
• Для вновь созданных очередей необходимо выполнить задачи, прежде чем их можно будет масштабировать scale-out или scale-in.

Тип задачи

• DLI поддерживает следующие типы задач: SQL, Spark Jar, Flink OpenSource SQL и Flink Jar.

Движки и версии, поддерживаемые различными типами задач

• DLI поддерживает следующие версии Spark: Spark 3.3.1, Spark 3.1.1 (EOM), Spark 2.4.5 (EOM) и Spark 2.3 (EOS).
• DLI поддерживает следующие версии Flink: Flink Jar 1.15, Flink 1.12 (EOM), Flink 1.10 (EOS) и Flink 1.7 (EOS).

Управление задачами

• SparkUI может отображать только последние 100 задач.
• На консоли может отображаться не более 1 000 результатов задач. Чтобы просмотреть больше или все задачи, экспортируйте данные задач в OBS.
• Для экспорта журналов выполнения задач необходимо иметь разрешение на доступ к бакетам OBS. Требуется предварительно настроить бакет задач DLI на странице Global Configuration > Project.
• Кнопка View Log недоступна для задач синхронизации и задач, выполняющихся в очереди по умолчанию.
• Только задачи Spark поддерживают пользовательские образы.

База данных

• default — это база данных, встроенная в DLI. Вы не можете создать базу данных с именем default.
• DLI поддерживает максимум 50 баз данных.

Таблица данных

• DLI поддерживает максимум 5 000 таблиц.
• DLI поддерживает следующие типы таблиц:
  • MANAGED: Данные хранятся в таблице DLI.
  • EXTERNAL: Данные хранятся в таблице OBS.
  • View: Представление может быть создано только с помощью SQL‑операторов.
  • Таблица источника данных: тип таблицы также EXTERNAL.
• Вы не можете указать путь к хранилищу при создании таблицы DLI.

Импорт данных

• Только данные OBS могут быть импортированы в DLI или OBS.
• Вы можете импортировать данные в формате CSV, Parquet, ORC, JSON или Avro из OBS в таблицы, созданные в DLI.
• Чтобы импортировать данные в формате CSV в партицированную таблицу, разместите колонку раздела в последнем столбце источника данных.
• Формат кодирования импортируемых данных может быть только UTF-8.

Экспорт данных

• Данные в таблицах DLI (тип таблицы MANAGED) могут экспортироваться только в OBS бакеты, и путь экспорта должен содержать папку.
• Экспортируемый файл находится в формате JSON, и текстовый формат может быть только UTF-8.
• Данные могут экспортироваться между учетными записями. То есть после того как учетная запись B предоставляет доступ учетной записи A, у учетной записи A появляется разрешение читать метаданные и информацию о правах доступа к бакету OBS учетной записи B, а также права чтения и записи по пути. Учетная запись A может экспортировать данные в путь OBS учетной записи B.

Пакет

• Пакет можно удалить, но группу пакетов удалить нельзя.
• Можно загрузить следующие типы пакетов:
  • JAR: файл JAR
  • PyFile: пользовательский файл Python
  • File: пользовательский файл
  • ModelFile: файл пользовательской AI модели

Use case

• Нельзя создать соединения источников данных для очереди default.
• Задания Flink могут напрямую получать доступ к источникам данных DIS, OBS и SMN без использования соединений источников данных.

Permission

• Требуются разрешения VPC Administrator для использования VPC, подсетей, маршрутов и соединений VPC peering в улучшенных соединениях.

Usage

• Если вы используете улучшенное соединение источника данных, CIDR‑блок elastic resource pool или очереди не может пересекаться с CIDR‑блоком источника данных.
• Только очереди, привязанные к соединениям источников данных, могут получать доступ к таблицам источников данных.
• Таблицы источников данных не поддерживают функцию предварительного просмотра.

Проверка подключения

• При проверке подключения соединений datasource, примечания и ограничения для IP-адресов следующие:
  • IP-адрес должен быть действительным, он состоит из четырёх десятичных цифр, разделённых точками (.). Значения находятся в диапазоне от 0 до 255.
  • Во время теста вы можете добавить порт после IP-адреса и разделить их двоеточиями (:). Порт может содержать не более пяти цифр. Значения находятся в диапазоне от 0 до 65535.

    Например, 192.168.xx.xx или 192.168.xx.xx:8181.

• При проверке подключения соединений datasource, примечания и ограничения для доменных имён следующие:
  • Доменное имя может содержать от 1 до 255 символов. Разрешены только буквы, цифры, подчёркивания (_) и дефисы (-).
  • Домен верхнего уровня должен содержать минимум две буквы, например, .com, .net и .cn.
  • Во время теста вы можете добавить порт после доменного имени и разделить их двоеточиями (:). Порт может содержать не более пяти цифр. Значения находятся в диапазоне от 0 до 65535.

    Пример: example.com:8080

Сценарий использования

• Только задачи Spark SQL и Flink OpenSource SQL 1.12 поддерживают аутентификацию источника данных.
• Версия кластера, к которому относится очередь, может не поддерживать аутентификацию источника данных. Рекомендуется создать очередь для выполнения задач Flink.

Тип аутентификации источника данных

• DLI поддерживает четыре типа аутентификации источника данных. Выберите тип аутентификации, специфичный для каждого источника данных.
  • CSS: применяется к кластерам CSS версии 6.5.4 и выше с включённым режимом безопасности.
  • Kerberos: применяется к кластерам безопасности MRS с включённой аутентификацией Kerberos.
  • Kafka_SSL: применяется к Kafka с включённым SSL.
  • Password: применяется к DWS, RDS, DDS и DCS.

Синтаксис SQL

Запрещено указывать путь к хранилищу при создании таблицы DLI с помощью SQL‑операторов.

Ограничения на размер SQL‑операторов:

• Каждый SQL‑оператор должен содержать менее 500 000 символов.
• Размер каждого SQL‑оператора должен быть менее 1 МБ.

Квота

Для примечаний и ограничений по квотам см. Quotas.

Версия браузера

Рекомендуемые браузеры и их версии:

• Google Chrome 43.0 or later
• Mozilla Firefox 38.0 or later
• Internet Explorer 9.0 or later