Примечания и ограничения

• Эластичный ресурсный пул в настоящее время поддерживает до 32 000 CUs.

• Вы не можете изменить регион эластичного ресурсного пула после его создания.
• Задания Flink 1.10 и более поздние версии могут выполняться в эластичных ресурсных пулах.
• CIDR‑блок эластичного ресурсного пула нельзя изменить после установки.
• Вы можете просматривать только историю масштабирования эластичного ресурсного пула за последние 30 дней.
• Эластичные пулы ресурсов не могут напрямую обращаться к Internet.

• Изменения CU эластичного пула ресурсов могут происходить при установке CU, добавлении или удалении очередей в эластичном пуле ресурсов, изменении политик масштабирования очередей в эластичном пуле ресурсов или когда система автоматически инициирует масштабирование эластичного пула ресурсов. Однако в некоторых случаях система не может гарантировать, что масштабирование достигнет целевых CU согласно плану.
  • Если физических ресурсов недостаточно, эластичный пул ресурсов может не суметь масштабироваться наружу до желаемого целевого размера.
  • Система не гарантирует, что эластичный пул ресурсов будет масштабироваться внутрь до желаемого целевого размера.

    Система проверяет использование ресурсов перед масштабированием внутрь эластичного пула ресурсов, чтобы определить, достаточно ли места для масштабирования внутрь. Если существующие ресурсы нельзя масштабировать внутрь в соответствии с минимальным шагом масштабирования, пул может не быть масштабирован внутрь успешно или только частично.

    Шаг масштабирования может варьироваться в зависимости от спецификаций ресурсов, обычно 16 CUs, 32 CUs, 48 CUs, 64 CUs и т.д.

    Например, если эластичный пул ресурсов имеет ёмкость 192 CUs, а очереди в пуле используют 68 CUs из‑за выполняющихся заданий, планируется масштабировать до 64 CUs.

    При выполнении задачи масштабирования вниз система определяет, что остаётся 124 CUs, и масштабирует вниз минимум на шаг 64 CUs. Однако оставшиеся 60 CUs нельзя масштабировать дальше. Поэтому после выполнения задачи масштабирования пулом ресурсов его ёмкость снижается до 128 CUs.

• Типы очередей:
  • по умолчанию очередь: Очередь с именем по умолчанию запрограммировано в DLI, где вы можете использовать ресурсы по запросу.
  • Для SQL: задания Spark SQL могут быть отправлены в очереди SQL.
  • Для общего назначения: очередь используется для выполнения программ Spark, заданий Flink SQL и заданий Flink Jar.
• Вы не можете изменить тип очереди после её покупки. Чтобы использовать другой тип очереди, приобретите новую очередь.

• Регион очереди изменить нельзя.
• Очереди DLI не могут получать доступ к Интернету.

• Очереди с 16 CUs не поддерживают масштабирование наружу и внутрь.
• Очереди с 64 CUs не поддерживают масштабирование внутрь.
• Новыми созданные очереди должны выполнить задания, прежде чем их можно будет масштабировать наружу или внутрь.

• DLI поддерживает следующие типы Джоб: SQL, Spark Jar, Flink OpenSource SQL и Flink Jar.

• DLI поддерживает следующие версии Spark: Spark 3.3.1, Spark 3.1.1 (EOM), Spark 2.4.5 (EOM) и Spark 2.3 (EOS).
• DLI поддерживает следующие версии Flink: Flink Jar 1.15, Flink 1.12 (EOM), Flink 1.10 (EOS) и Flink 1.7 (EOS).

• SparkUI может отображать только последние 100 Джоб.
• На консоли может отображаться максимум 1 000 результатов Джоб. Чтобы просмотреть больше или все Джобы, экспортируйте данные Джоб в OBS.
• Для экспорта журналов выполнения Джоб вам необходимо иметь разрешение на доступ к бакетам OBS. Вам нужно настроить бакет Джоб DLI на Глобальная конфигурация > Проект страницу заранее.
• Эта Просмотр Лога кнопка недоступна для задач синхронизации и задач, запущенных в очереди по умолчанию.
• Только задачи Spark поддерживают пользовательские образы.

• по умолчанию это база данных, встроенная в DLI. Вы не можете создать базу данных с именем по умолчанию.
• DLI поддерживает максимум 50 баз данных.

• DLI поддерживает максимум 5,000 таблиц.
• DLI поддерживает следующие типы таблиц:
  • MANAGED: Данные хранятся в таблице DLI.
  • EXTERNAL: Данные хранятся в таблице OBS.
  • Представление: Представление может быть создано только с использованием операторов SQL.
  • Таблица источника данных: Тип таблицы также EXTERNAL.
• Вы не можете указать путь к хранилищу при создании таблицы DLI.

• Только данные OBS могут быть импортированы в DLI или OBS.
• Вы можете импортировать данные в формате CSV, Parquet, ORC, JSON или Avro из OBS в таблицы, созданные на DLI.
• Чтобы импортировать данные в формате CSV в партиционированную таблицу, разместите колонку раздела в последней колонке источника данных.
• Формат кодировки импортированных данных может быть только UTF-8.

• Данные в таблицах DLI (тип которых MANAGED) может быть экспортировано только в OBS бакеты, и путь экспорта должен содержать папку.
• Экспортированный файл находится в формате JSON, и текстовый формат может быть только UTF-8.
• Данные могут быть экспортированы между аккаунтами. То есть после того, как аккаунт B авторизует аккаунт A, у аккаунта A появляется разрешение читать метаданные и информацию о разрешениях OBS‑бакета аккаунта B, а также разрешения на чтение и запись в пути. Аккаунт A может экспортировать данные в OBS‑путь аккаунта B.

• Пакет может быть удалён, но группу пакетов удалить нельзя.
• Можно загрузить следующие типы пакетов:
  • JAR: файл JAR
  • PyFile: пользовательский файл Python
  • Файл: Файл пользователя
  • Файл модели: Файл модели AI пользователя

• Подключения источников данных нельзя создать для по умолчанию очередь.
• Задания Flink могут напрямую получать доступ к источникам данных DIS, OBS и SMN без использования подключений источников данных.

• VPC Администратор требуются разрешения для расширенных соединений, чтобы использовать VPC, подсети, маршруты, VPC peering соединения.

• Если вы используете расширенное соединение источника данных, блок CIDR гибкого пула ресурсов или очереди не может перекрываться с блоком источника данных.
• Только очереди, привязанные к соединениям источника данных, могут получать доступ к таблицам источника данных.
• Таблицы источника данных не поддерживают функцию предпросмотра.

• При проверке соединения источника данных, заметки и ограничения по IP-адресам следующие:
  • IP-адрес должен быть действительным, он состоит из четырёх десятичных чисел, разделённых точками (.). Значения находятся в диапазоне от 0 до 255.
  • Во время теста вы можете добавить порт после IP-адреса и разделить их двоеточиями (:). Порт может содержать максимум пять цифр. Значения находятся в диапазоне от 0 до 65535.

    Например, 192.168.xx.xx или 192.168.xx.xx:8181.

• При проверке соединяемости подключений источников данных, примечания и ограничения для доменных имён:
  • Доменное имя может содержать от 1 до 255 символов. Допустимы только буквы, цифры, символ подчеркивания (_) и дефис (-).
  • Домен верхнего уровня должен содержать как минимум две буквы, например, .com, .net, и .cn.
  • Во время теста вы можете добавить порт после доменного имени и разделить их двоеточиями (:). Порт может содержать максимум пять цифр. Значение находится в диапазоне от 0 до 65535.

    Пример: example.com:8080

• Только Spark SQL и Flink OpenSource SQL 1.12 задания поддерживают аутентификацию источника данных.
• Версия кластера, к которому относится очередь, может не поддерживать аутентификацию источника данных. Рекомендуется создать очередь для выполнения заданий Flink.

• DLI поддерживает четыре типа аутентификации источника данных. Выберите тип аутентификации, специфичный для каждого источника данных.
  • CSS: применяется к кластерам CSS версии 6.5.4 и выше с включенным режимом безопасности.
  • Kerberos: применяется к кластерам безопасности MRS с включённой аутентификацией Kerberos.
  • Kafka_SSL: применяется к Kafka с включённым SSL.
  • Пароль: применяется к GaussDB(DWS), RDS, DDS и DCS.

• Каждый SQL‑запрос должен содержать менее 500 000 символов.
• Размер каждого SQL‑запроса должен быть менее 1 МБ.

Рекомендуемые браузеры и их версии:

• Google Chrome 43.0 или новее
• Mozilla Firefox 38.0 или новее
• Internet Explorer 9.0 или новее