/
DOCS
Облачная платформа
Advanced
Поиск
В этом документе
Эта статья полезна?
Документация DLI
Обзор сервиса
Что такое Data Lake Insight
Что нового
Квоты и лимиты
Преимущества
Сценарии использования
Функции
Типы и спецификации вычислительных ресурсов
Управление разрешениями
Примечания и ограничения
Квоты
Сопутствующие сервисы
Базовые концепции
Начало работы
Отправка SQL Job для запроса данных OBS с использованием DLI
Отправка SQL Job для запроса данных RDS for MySQL с использованием DLI
Отправка Flink OpenSource SQL Job для запроса данных RDS for MySQL с использованием DLI
Использование DLI для отправки Flink SQL Job с записью данных в Kafka
Отправка Flink Jar Job с помощью DLI
Отправка Spark Jar Job с использованием DLI
Процесс разработки DLI Job
Подготовка
Настройка разрешений DLI agency
Создание IAM User и предоставление разрешений
Настройка DLI Job Бакет
Создание Elastic Resource Pool и создание Queues внутри него
Обзор DLI Elastic Resource Pools и Queues
Создание эластичного пула ресурсов и создание очередей в нём
Управление Elastic Resource Pools
Проверка основной информации
Управление разрешениями
Привязка очереди
Масштабирование вверх или вниз Elastic Resource Pool
Настройка CU
Управление тегами
Настройка политик масштабирования для очередей в Elastic Resource Pool
Просмотр истории масштабирования
Назначение в Enterprise Project
Управление очередями
Просмотр основной информации о очереди
Управление разрешениями очереди
Назначение очереди в Enterprise Project
Создание темы SMN
Управление тегами Queue
Настройка свойств очереди
Включение оптимизации операторов Spark Native
Тестирование сетевого соединения между очередью и источником данных
Удаление очереди
Включение Elastic Scaling для очереди в Non-Elastic Resource Pool
Создание запланированной задачи эластичного масштабирования для Queue в неэластичном пуле ресурсов
Изменение CIDR‑блока очереди в неэластичном пуле ресурсов
Пример использования: создание Elastic Resource Pool и запуск задач
Пример использования: Configuring Scaling Policies for Queues in an Elastic Resource Pool
Создание очереди в неэластичном пуле ресурсов (Устаревшее, не рекомендуется)
Создание каталога данных, базы данных и таблицы
Понимание каталогов данных, баз данных и таблиц
Создание Data Catalog, Database и Table в консоли DLI
Просмотр метаданных таблицы
Управление каталогами данных в DLI Console
Настройка разрешений каталога данных в консоли DLI
Управление ресурсами базы данных в консоли DLI
Настройка разрешений базы данных в консоли DLI
Удаление базы данных в консоли DLI
Изменение владельца базы данных в консоли DLI
Управление тегами для таблиц баз данных
Управление ресурсами Table в DLI Console
Настройка прав доступа к таблице в консоли DLI
Удаление таблицы в консоли DLI
Изменение владельца таблицы в консоли DLI
Импорт данных OBS в таблицу DLI
Экспорт данных таблицы DLI в OBS
Предпросмотр данных таблицы в консоли DLI
Импорт данных и миграция
Обзор
Миграция данных из внешних источников данных в DLI
Обзор сценариев миграции данных
Использование CDM для миграции данных в DLI
Настройка DLI для чтения и записи данных из и в внешние источники данных
Настройка DLI для чтения и записи внешних источников данных
Настройка сетевого соединения между DLI и источниками данных (Enhanced Datasource Connection)
Обзор Enhanced Datasource Connections
Создание расширенного подключения к источнику данных
Общие методы разработки для DLI кросс‑источникового анализа
Управление учетными данными доступа к источникам данных с помощью DEW
Обзор
Использование DLI Datasource Authentication для управления учетными данными доступа к источникам данных
Обзор
Создание аутентификации источника данных CSS
Создание Kerberos Datasource Authentication
Создание Kafka_SSL Datasource Authentication
Создание Password Datasource Authentication
Datasource Authentication Permission Management
Управление Enhanced Datasource Connections
Просмотр основной информации об расширенном подключении к источнику данных
Управление разрешениями расширенного соединения
Привязка расширенного соединения источника данных к эластичному пулу ресурсов
Отвязывание Enhanced Datasource Connection от Elastic Resource Pool
Добавление маршрута для расширенного соединения источника данных
Удаление маршрута для расширенного подключения к источнику данных
Изменение информации о Host в Elastic Resource Pool
Удаление Enhanced Datasource Connection
Настройка агентства для предоставления DLI доступа к другим облачным сервисам
Обзор агентства DLI
Создание Custom DLI Agency
Политики разрешений агентства в типовых сценариях
Отправка SQL Job в консоли управления DLI
Создание и отправка SQL Job
Экспорт результатов SQL Job
Создание правила проверки SQL
Установка приоритета для SQL Job
Запрос журналов для SQL Jobs
Управление SQL Jobs
Просмотр плана выполнения SQL
Создание и управление SQL Job Templates
Создание шаблона задания SQL
Разработка и отправка SQL Job с использованием шаблона SQL Job
Данные образца TPC-H в предустановке SQL Templates Preset на DLI
Отправка Flink Job в консоли управления DLI
Обзор задания Flink
Создание Flink OpenSource SQL Job
Создание Flink Jar Job
Настройка прав Flink Job
Управление Flink Jobs
Viewing Flink Job Details
Установка приоритета для Flink Job
Включение Dynamic Scaling для Flink Jobs
Запрос журналов для Flink Jobs
Общие операции Flink Jobs
Managing Flink Job Templates
Добавление Тегов к Flink Job
Отправка Spark Job в DLI Management Console
Создание Spark Job
Установка приоритета для Spark Job
Запрос журналов для Spark Jobs
Управление Spark Jobs
Управление шаблонами Spark Job
Мониторинг DLI с помощью Cloud Eye
Использование CTS для аудита DLI
Управление разрешениями DLI
Обзор системы разрешений DLI
DLI Управление разрешениями
Обзор
DLI Permissions
DLI Руководство по операциям авторизации
IAM Управление разрешениями
Обзор
IAM Authorization Entity
IAM Permissions
Использование ролей IAM или политик для предоставления доступа к DLI
Пример использования: создание User Group и предоставление Permissions для использования DLI elastic resource pools и Databases
Общие операции управления DLI
Улучшение Job Runtime Environment с использованием Custom Image
Управление глобальными переменными DLI
Управление пакетами программ Jar Jobs
Обзор управления пакетами
Создание пакета DLI
Настройка разрешений пакетов DLI
Изменение владельца пакета DLI
Управление тегами пакетов DLI
Встроенные зависимости DLI
Управление квотами ресурсов DLI
FAQ
DLI Основы
В чем различия между MRS Spark и DLI Spark?
Где могут храниться данные в DLI?
Могу ли я импортировать данные OBS Bucket, общие с другими арендаторами, в DLI?
Может ли Member Account использовать Global Variables, созданные другими Member Accounts?
Подвержен ли DLI уязвимости Apache Spark Command Injection (CVE-2022-33891)?
Как управлять заданиями, запущенными в DLI?
Как изменить имена полей существующей таблицы в DLI?
DLI Elastic Resource Pools and Queues
Как проверить фактические и использованные CU для Elastic Resource Pool, а также требуемые CU для Job?
Как проверить наличие скопления заданий в текущей очереди DLI?
Как просмотреть нагрузку очереди DLI?
Как отслеживать исключения задач в очереди DLI?
Как перенести очередь Spark старой версии в General-Purpose Queue?
Что делать, если при выполнении DLI SQL Statements в default Queue возникает исключение Timeout?
DLI Базы данных и таблицы
Почему я не могу выполнить запрос к таблице в консоли DLI?
Что делать, если коэффициент сжатия OBS Table высокий?
Что делать, если несогласованное кодирование символов приводит к искажённым символам?
Нужно ли повторно предоставлять разрешения пользователям и проектам после удаления и воссоздания таблицы с тем же именем?
Что делать, если файлы, импортированные в DLI таблицу с разделами, не содержат данных для столбцов раздела, вызывая сбои запросов после завершения импорта?
Как исправить некорректные данные в OBS Foreign Table, вызванные символами новой строки в полях файлов OBS?
Как предотвратить запрос декартова произведения и перегрузку ресурсов из‑за отсутствия условий "ON" при соединении таблиц?
Что делать, если после ручного добавления данных в каталог раздела OBS Table невозможно выполнить запрос?
Почему операция "insert overwrite" затрагивает все данные в таблице с разделами, а не только целевой раздел?
Почему поле "create_date" в таблице RDS (тип данных Datetime) отображается как Timestamp в запросах DLI?
Что делать, если переименование таблицы после SQL job приводит к некорректному размеру данных?
Как решить несоответствия данных при импорте данных из DLI в OBS?
Почему таблица Hudi не отображается в консоли DLI?
Улучшенные соединения источников данных
Как решить ошибку подключения DLI к GaussDB(DWS) через расширенное соединение источника данных?
Что делать, если Datasource Connection успешно создано, но Network Connectivity Test не проходит?
Как настроить сетевое подключение между очередью DLI и источником данных?
Почему создание VPC Peering Connection необходимо для расширенных подключений источников данных в DLI?
Что делать, если создание Datasource Connection в DLI зависает в состоянии "Creating" при привязке к Queue?
Как решить ошибку "communication link failure" при использовании недавно созданного соединения datasource, которое, кажется, активировано?
Как устранить проблему с тайм‑аутом соединения, которая не фиксируется в журналах при доступе к MRS HBase через Datasource Connection?
Что делать, если при выполнении insert overwrite на таблице Datasource RDS возникает ошибка "Incorrect string value"?
Как решить ошибку Null Pointer Error при создании таблицы RDS Datasource?
Сообщение об ошибке "org.postgresql.util.PSQLException: ERROR: tuple concurrently updated" отображается, когда система выполняет insert overwrite на таблице Datasource GaussDB(DWS) Table
RegionTooBusyException возникает, когда данные импортируются в CloudTable HBase Table через Datasource Table
Что делать, если при использовании DLI Datasource Connection для подключения к таблице GaussDB(DWS) в ненулевое поле записывается значение NULL?
Что делать, если операция вставки завершилась неудачей после обновления схемы исходной таблицы GaussDB(DWS)?
Как вставить данные в таблицу RDS с автоинкрементным первичным ключом, используя DLI?
SQL Jobs
Разработка SQL Job
SQL Jobs
Как объединить небольшие файлы?
Как указать путь OBS при создании таблицы OBS?
Как создать таблицу, используя данные JSON в бакете OBS?
Как использовать count Function для выполнения агрегации?
Как синхронизировать данные таблицы DLI между регионами?
Как вставить данные таблицы в определённые поля таблицы с помощью SQL Job?
Как устранить медленные SQL Jobs?
Как просмотреть журналы DLI SQL?
Как просмотреть записи выполнения SQL в DLI?
Что делать, когда при выполнении SQL Job возникает дисбаланс данных?
Почему SQL Job, содержащий операции Join, остаётся в состоянии Running?
Почему SQL Job застрял в состоянии Submitting?
SQL Job O&M
Почему возникает ошибка "path obs://xxx already exists" при экспорте данных в OBS?
Почему отображается ошибка "SQL_ANALYSIS_ERROR: Reference 't.id' is ambiguous, could be: t.id, t.id.;" при объединении двух таблиц?
Почему возникает ошибка "The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget." при выполнении SQL Statement?
Почему при выполнении запроса возникает ошибка "There should be at least one partition pruning predicate on partitioned table XX.YYY"?
Почему возникает ошибка "IllegalArgumentException: Buffer size too small. size" при загрузке данных в OBS Foreign Table?
Почему возникает ошибка "DLI.0002 FileNotFoundException" во время выполнения SQL Job?
Почему при создании таблицы Hive с помощью CTAS возникает ошибка разбора схемы?
Почему при запуске DLI SQL скриптов в DataArts Studio отображается ошибка "org.apache.hadoop.fs.obs.OBSIOException"?
Почему при доступе к SQL Job отображается ошибка "File not Found"?
Почему возникает ошибка "DLI.0003: AccessControlException XXX" при доступе к SQL Job?
Почему возникает ошибка "DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on {{bucket name}}: status [403]" при доступе к SQL Job?
Почему я вижу сообщение об ошибке "The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget" при выполнении SQL Statement?
Flink Jobs
Консультация по Flink Job
Как авторизовать субпользователя для просмотра Flink Jobs?
Как настроить Auto Restart upon Exception для Flink Job?
Как сохранить логи для Flink Jobs?
Почему на странице Flink Job Management отображается ошибка "No such user. userName:xxxx." при предоставлении разрешения пользователю?
Как восстановить Flink Job из конкретного Checkpoint после ручной остановки задания?
Почему отображается сообщение, указывающее, что SMN Topic не существует, когда я использую SMN Topic в DLI?
Flink SQL Jobs
Как сопоставить таблицу OBS с разделённой таблицей DLI?
Как изменить количество разделов Kafka в задаче Flink SQL без её остановки?
Как исправить ошибку DLI.0005 при использовании EL Expressions для создания таблицы в Flink SQL Job?
Почему при записи данных в OBS через поток вывода Flink Job данные не запрашиваются в таблице DLI, созданной с использованием пути к файлу OBS?
Почему Flink SQL Job не выполняется, и в журнале отображается "connect to DIS failed java.lang.IllegalArgumentException: Access key cannot be null"?
Запись данных не удалась после того, как Flink SQL Job потребил Kafka и отправил данные в Elasticsearch Cluster
Как настроить повторные попытки подключения для Kafka Sink, если он отключён?
Как записать данные в разные кластеры Elasticsearch в задаче Flink?
Почему DIS Stream не существует во время проверки семантики Job?
Почему ошибка "Timeout expired while fetching topic metadata" постоянно появляется в журналах Flink JobManager?
Flink Jar Jobs
Могу ли я загружать файлы конфигурации для Flink Jar Jobs?
Почему конфликт пакета Flink Jar приводит к ошибке отправки задания?
Почему задача Flink Jar не может получить доступ к GaussDB(DWS) и отображается сообщение, указывающее Too Many Client Connections?
Почему после неудачной отправки Flink Job появляется ошибка Invalid OBS Bucket Name?
Почему отправка Flink не удаётся из‑за конфликта JAR‑файла Hadoop?
Как найти ошибку отправки Flink Job?
Настройка производительности Flink Job
Настройка производительности Flink Джоба
Как предотвратить потерю данных после перезапуска Flink джобы?
Как найти ошибку выполнения Flink Job?
Как проверить, может ли Flink Job быть восстановлен из чекпоинта после его перезапуска?
Почему логи не записываются в OBS Бакет после того, как DLI Flink Job не удалось отправить на выполнение?
Почему Flink Job аномален из‑за тайм‑аута heartbeat между JobManager и TaskManager?
Spark Jobs
Разработка Spark Джобы
Spark Jobs
Как использовать Spark для записи данных в таблицу DLI?
Как настроить AK/SK, чтобы General Queue мог получать доступ к таблицам, хранящимся в OBS?
Как просмотреть использование ресурсов DLI Spark Jobs?
Как использовать скрипты Python для доступа к базе данных MySQL, если модуль pymysql отсутствует в результатах Spark Job, хранящихся в MySQL?
Как запустить сложную программу PySpark в DLI?
Как использовать JDBC для установки параметра spark.sql.shuffle.partitions с целью повышения параллелизма задач?
Как прочитать загруженные файлы для Spark Jar Job?
Почему атрибуты представления пусты в клиенте Spark 3.3.1?
Почему я не могу найти указанное окружение Python после добавления пакета Python?
Почему Spark Jar Job застрял в состоянии Submitting?
Spark Job O&M
Почему я получаю ошибки "ResponseCode: 403" и "ResponseStatus: Forbidden" при доступе Spark Job к данным OBS?
Почему я получаю ошибку "verifyBucketExists on XXXX: status [403]" при использовании Spark Job для доступа к OBS Бакету, к которому у меня есть разрешения?
Почему возникает тайм‑аут выполнения задания при обработке большого объёма данных с помощью Spark‑задания?
Почему Spark Job не выполняется с ошибкой Abnormal Access Directory Error при доступе к файлам в SFTP?
Почему задание не выполняется из‑за недостаточных прав доступа к базе данных и таблице?
Почему база данных global_temp отсутствует в журнале Job Log Spark 3.x?
Почему использование синтаксиса DataSource для создания OBS‑таблицы типа Avro не удаётся при доступе к метаданным с Spark 2.3.x?
Как решить ошибку "Input argument to rand must be a constant" в SQL‑запросах Spark 3.3.1?
При использовании клиента Spark 3.3.1 для создания представления и выполнения запроса JOIN возникает ошибка с сообщением "Not allowed to create a permanent view" при попытке записать данные
DLI Квоты ресурсов
Как просмотреть мои квоты?
Как подать заявку на увеличение квоты?
DLI Управление разрешениями
Что такое Column-Level Authorization для DLI Partitioned Tables?
Что делать, если я сталкиваюсь с недостаточными правами при обновлении пакетов?
Почему возникает ошибка "DLI.0003: Permission denied for resource..." при выполнении SQL‑запроса?
Что делать, если после предоставления прав на таблицу я не могу выполнить запрос к данным таблицы?
Будет ли выдача дублирующих разрешений таблице после наследования разрешений базы данных вызывать ошибку?
Почему я не могу выполнить запрос к представлению, несмотря на наличие разрешения select?
Что делать, если я получаю сообщение о недостаточных разрешениях для отправки моих Jobs в Job Bucket?
DLI APIs
Почему возникает ошибка "unsupported media Type" при отправке SQL Job?
Что можно сделать, если при выполнении API для создания SQL Job возникает ошибка из‑за тайм‑аута?
Практические руководства
Конвертация CSV файла в Parquet формат
Использование Apache Spark в облаке Advanced
Тарификация
Поддержка
Юридические документы
Политика конфиденциальности
© 2026 Cloud.ru