При отправке задания для импорта данных в DLI table, если коэффициент сжатия файла Parquet/ORC, соответствующего OBS table, высокий, превышающий 5‑кратный коэффициент сжатия, вы можете оптимизировать производительность задания, изменив конфигурацию.
Конкретно, задайте dli.sql.files.maxPartitionBytes=33554432 в поле conf тела запроса submit-job.
Значение по умолчанию для этого параметра конфигурации — 128 МБ. Установка его в 32 МБ может уменьшить объём данных, читаемых одной задачей, и избежать обработки большого объёма данных одной задачей после распаковки из‑за высокого коэффициента сжатия.
Однако изменение этого параметра может повлиять на эффективность выполнения и потребление ресурсов задания. Поэтому при внесении корректировок необходимо выбирать подходящее значение параметра, исходя из фактического объёма данных и коэффициента сжатия.