Что делать, если возникает ошибка при изменении split value в приложении Spark?

Ошибка возникает при изменении максимального split-размера при использовании нескольких «мапперов» для ускорения. Однако при выполнении команды set $parameter появляется сообщение об ошибке.

Причины могут быть следующими:

• При настройке параметра hive.security.whitelist.switch, чтобы включить или выключить whitelist в режиме безопасности, необходимо задать параметр, который будет запущен в hive.security.authorization.sqlstd.confwhitelist file.

• Whitelist по умолчанию не содержит параметр mapred.max.split.size. Поэтому система оповещает о недопустимости изменения максимального split-размера.

Сделайте следующие шаги:

1. Авторизуйтесь в MRS Manager.

2. Выберите Services → Hive → Service Configuration.

3. В поле Type выберите из списка «All».

4. В меню слева выберите HiveServer → Security и в таблице найдите строку с hive.security.authorization.sqlstd.confwhitelist и добавьте mapred.max.split.size.

   См.также

   Подробности смотрите в статье «Using Hive from Scratch».

5. После изменения перезапустите компонент Hive.

6. Введите команду:

   set mapred.max.split.size=1000000

   Если ошибка не повторится, значит изменение прошло успешно.