tocdepth: 2

Что делать при высокой степени сжатия таблиц OBS?

Высокая степень сжатия таблиц OBS в формате Parquet или ORC (к примеру, при степени сжатия в 5 раз или выше, если сравнивать со сжатием текста) приведет к тому, что одной задачей будут обрабатываться значительные объемы данных.

В этом случае рекомендуется установить dli.sql.files.maxPartitionBytes на 33554432 (по умолчанию установлено на 134217728) в поле conf в теле запроса submit-job, для уменьшения количества обрабатываемых данных для каждой задачи.

Была ли статья полезной?

Спасибо за отзыв! Что можно улучшить?

Что делать при высокой степени сжатия таблиц OBS?