tocdepth: 2

Что делать, если возникает ошибка при изменении split value в приложении Spark?

Ошибка возникает при изменении максимального split-размера при использовании нескольких «мапперов» для ускорения. Однако при выполнении команды set $parameter появляется сообщение об ошибке.

Причины могут быть следующими:

При настройке параметра hive.security.whitelist.switch, чтобы включить или выключить whitelist в режиме безопасности, необходимо задать параметр, который будет запущен в hive.security.authorization.sqlstd.confwhitelist file.
Whitelist по умолчанию не содержит параметр mapred.max.split.size. Поэтому система оповещает о недопустимости изменения максимального split-размера.

Сделайте следующие шаги:

Авторизуйтесь в MRS Manager.
Выберите Services → Hive → Service Configuration.
В поле Type выберите из списка «All».
В меню слева выберите HiveServer → Security и в таблице найдите строку с hive.security.authorization.sqlstd.confwhitelist и добавьте mapred.max.split.size.

См.также

Подробности смотрите в статье «Using Hive from Scratch».
После изменения перезапустите компонент Hive.
Введите команду:

set mapred.max.split.size=1000000

Если ошибка не повторится, значит изменение прошло успешно.

Была ли статья полезной?

Спасибо за отзыв! Что можно улучшить?

Что делать, если возникает ошибка при изменении split value в приложении Spark?