Заметки и ограничения

• Эластичный ресурсо́вый пул в данный момент поддерживает до 32 000 CUs.

• Вы не можете изменить регион эластичного ресурсо́вого пула после его создания.
• Задачи Flink 1.10 или более поздних версий могут запускаться в эластичных ресурсо́вых пулах.
• Блок CIDR эластичного ресурсо́вого пула нельзя изменить после установки.
• Вы можете просматривать только историю масштабирования эластичного ресурсо́вого пула в течение 30 дней.
• Эластичные пулы ресурсов не могут напрямую получать доступ к Internet.

• Изменения количества CUs эластичного пула ресурсов могут происходить при установке CU, добавлении или удалении очередей в эластичном пуле ресурсов, изменении политик масштабирования очередей в эластичном пуле ресурсов или когда система автоматически инициирует масштабирование эластичного пула ресурсов. Однако в некоторых случаях система не может гарантировать, что масштабирование достигнет целевых CUs согласно плану.
  • Если физических ресурсов недостаточно, эластичный пул ресурсов может не масштабироваться наружу до желаемого целевого размера.
  • Система не гарантирует, что эластичный пул ресурсов будет масштабироваться внутрь до желаемого целевого размера.

    Система проверяет использование ресурсов перед масштабированием в эластичном пуле ресурсов, чтобы определить, достаточно ли места для масштабирования внутрь. Если существующие ресурсы нельзя масштабировать внутрь в соответствии с минимальным шагом масштабирования, пул может не масштабироваться внутрь успешно или только частично.

    Шаг масштабирования может варьироваться в зависимости от характеристик ресурсов, обычно 16 CUs, 32 CUs, 48 CUs, 64 CUs и более.

    Например, если эластичный пул ресурсов имеет емкость 192 CUs, а очереди в пуле используют 68 CUs из‑за выполняющихся задач, планируется уменьшить до 64 CUs.

    При выполнении задачи масштабирования вниз система определяет, что осталось 124 CUs, и уменьшает пул минимум на шаг в 64 CUs. Однако оставшиеся 60 CUs нельзя уменьшить дальше. Поэтому после выполнения задачи масштабирования вниз эластичный пул ресурсов его емкость уменьшится до 128 CUs.

• Типы очередей:
  • по умолчанию очередь: Очередь с именем по умолчанию запрограммировано в DLI, где вы можете использовать ресурсы по запросу.
  • Для SQL: Spark SQL Джобы могут быть отправлены в SQL‑очереди.
  • Для общего назначения: очередь используется для запуска программ Spark, Flink SQL Джоб и Flink Jar Джоб.
• Вы не можете изменить тип очереди после её покупки. Чтобы использовать другой тип очереди, приобретите новую очередь.

• Регион очереди нельзя изменить.
• Очереди DLI не могут получать доступ к Интернету.

• Очереди с 16 CUs не поддерживают масштабирование наружу или внутрь.
• Очереди с 64 CUs не поддерживают масштабирование внутрь.
• Для недавно созданных очередей необходимо запускать джобы, прежде чем они смогут масштабироваться наружу или внутрь.

• DLI поддерживает следующие типы Джобов: SQL, Spark Jar, Flink OpenSource SQL и Flink Jar.

• DLI поддерживает следующие версии Spark: Spark 3.3.1, Spark 3.1.1 (EOM), Spark 2.4.5 (EOM) и Spark 2.3 (EOS).
• DLI поддерживает следующие версии Flink: Flink Jar 1.15, Flink 1.12 (EOM), Flink 1.10 (EOS) и Flink 1.7 (EOS).

• SparkUI может отображать только последние 100 Джоб.
• На консоли может быть отображено максимум 1 000 результатов Джоб. Чтобы просмотреть больше или все Джобы, экспортируйте данные Джоб в OBS.
• Чтобы экспортировать журналы выполнения Джоб, вы должны иметь разрешение на доступ к бакетам OBS. Вам необходимо настроить бакет Джоб DLI на Глобальная конфигурация > Проект страница заранее.
• The Просмотр Лога кнопка недоступна для задач синхронизации и задач, запущенных в очереди по умолчанию.
• Только задачи Spark поддерживают пользовательские образы.

• по умолчанию является базой данных, встроенной в DLI. Вы не можете создать базу данных с именем по умолчанию.
• DLI поддерживает максимум 50 баз данных.

• DLI поддерживает максимум 5,000 таблиц.
• DLI поддерживает следующие типы таблиц:
  • УПРАВЛЯЕМЫЙ: Данные хранятся в таблице DLI.
  • ВНЕШНИЙ: Данные хранятся в таблице OBS.
  • Представление: Представление можно создать только с помощью операторов SQL.
  • Таблица источника данных: Тип таблицы также ВНЕШНИЙ.
• Нельзя указать путь к хранилищу при создании таблицы DLI.

• Только данные OBS могут быть импортированы в DLI или OBS.
• Можно импортировать данные в формате CSV, Parquet, ORC, JSON или Avro из OBS в таблицы, созданные в DLI.
• Чтобы импортировать данные в формате CSV в партицированную таблицу, разместите колонку раздела в последней колонке источника данных.
• Формат кодирования импортированных данных может быть только UTF-8.

• Данные в таблицах DLI (тип таблицы которых MANAGED) может быть экспортировано только в бакеты OBS, и путь экспорта должен содержать папку.
• Экспортированный файл находится в формате JSON, и текстовый формат может быть только UTF-8.
• Данные могут быть экспортированы между аккаунтами. То есть после того, как аккаунт B предоставляет разрешения аккаунту A, у аккаунта A есть право читать метаданные и информацию о разрешениях OBS‑бакета аккаунта B, а также права чтения и записи пути. Аккаунт A может экспортировать данные в OBS‑путь аккаунта B.

• Пакет можно удалить, но группу пакетов удалить нельзя.
• Можно загрузить следующие типы пакетов:
  • JAR: файл JAR
  • PyFile: файл Python пользователя
  • Файл: Файл пользователя
  • Файл модели: Файл модели AI пользователя

• Подключения источников данных не могут быть созданы для по умолчанию очереди.
• Задачи Flink могут непосредственно получать доступ к источникам данных DIS, OBS и SMN без использования подключений источников данных.

• Администратор VPC для расширенных соединений требуются разрешения на использование VPC, подсетей, маршрутов, VPC peering connections.

• Если вы используете расширенное соединение источника данных, CIDR‑блок elastic resource pool или очереди не может перекрываться с CIDR‑блоком источника данных.
• Только очереди, связанные соединениями источника данных, могут получать доступ к таблицам источника данных.
• Таблицы источника данных не поддерживают функцию предварительного просмотра.

• При проверке подключения соединений источника данных заметки и ограничения для IP‑адресов:
  • IP‑адрес должен быть действительным, он состоит из четырёх десятичных цифр, разделённых точками (.). Диапазон значений от 0 до 255.
  • Во время теста вы можете добавить порт после IP‑адреса, разделив их двоеточиями (:). Порт может содержать максимум пять цифр. Диапазон значений от 0 до 65535.

    Например, 192.168.xx.xx или 192.168.xx.xx:8181.

• При проверке соединяемости подключений источников данных, примечания и ограничения для доменных имен следующие:
  • Доменное имя может содержать от 1 до 255 символов. Допускаются только буквы, цифры, нижние подчёркивания (_) и дефисы (-).
  • В домене верхнего уровня должно быть не менее двух букв, например, .com, .net, и .cn.
  • Во время теста вы можете добавить порт после доменного имени и разделить их двоеточиями (:). Порт может содержать не более пяти цифр. Значение находится в диапазоне от 0 до 65535.

    Пример: example.com:8080

• Только задачи Spark SQL и Flink OpenSource SQL 1.12 поддерживают аутентификацию источника данных.
• Версия кластера, к которому относится очередь, может не поддерживать аутентификацию источника данных. Рекомендуется создать очередь для выполнения задач Flink.

• DLI поддерживает четыре типа аутентификации источника данных. Выберите тип аутентификации, специфичный для каждого источника данных.
  • CSS: применяется к кластерам CSS версии 6.5.4 и выше с включенным режимом безопасности.
  • Kerberos: применяется к кластерам безопасности MRS с включённой аутентификацией Kerberos.
  • Kafka_SSL: применяется к Kafka с включённым SSL.
  • Password: применяется к DWS, RDS, DDS и DCS.

• Каждый SQL‑запрос должен содержать менее 500,000 символов.
• Размер каждого SQL‑запроса должен быть меньше 1 МБ.

Рекомендуемые браузеры и их версии:

• Google Chrome 43.0 или новее
• Mozilla Firefox 38.0 или новее
• Internet Explorer 9.0 или новее