Сообщается об ошибке при изменении размера разбиения для запущенного Spark Application

Возникает ошибка при изменении размера разбиения в Spark application.

Пользователю необходимо реализовать несколько мапперов, изменив максимальный размер разбиения, чтобы ускорить работу Spark application. Однако ошибка возникает, когда пользователь выполняет команду set для изменения конфигурации Hive.

• Before the hive.security.whitelist.switch parameter is set to enable or disable the whitelist in security mode, the allowed parameters must have been configured in hive.security.authorization.sqlstd.confwhitelist.

• The default whitelist does not contain the mapred.max.split.size parameter. Therefore, the system displays a message indicating that the maximum split size cannot be changed.

1. Перейдите на страницу конфигурации Hive.
   • For versions earlier than MRS 3.x: Click the cluster name on the MRS console, choose Components > Hive > Service Configuration, and select All from the Basic drop-down list.
     Note

     If the Components tab is unavailable, complete IAM user synchronization first. (On the Dashboard page, click Synchronize on the right side of IAM User Sync to synchronize IAM users.)

   • For MRS 3.x or later: Log in to FusionInsight Manager and choose Cluster > Services > Hive > Configurations > All Configurations.

2. Search for hive.security.authorization.sqlstd.confwhitelist.append, and add mapred.max.split.size to hive.security.authorization.sqlstd.confwhitelist.append. For details, see Component Operation Guide > Using Hive > Using Hive from Scratch.
3. Сохраните конфигурацию и перезапустите компонент Hive.
4. Запустите set mapred.max.split.size=1000000; команду в Hive Beeline CLI снова.