Можно ли использовать Magic Committer в Spark?
Да, можно использовать Magic Committer в задаче Spark для записи данных в S3.
Для этого при создании задачи в блоке Настройки:
активируйте переключатель Добавить Spark-конфигурацию (–conf) и введите:
Параметр
Значение
spark.hadoop.fs.s3a.bucket.all.committer.magic.enabled
true
активируйте переключатель JAR (–jars) и введите:
https://repo1.maven.org/maven2/org/apache/spark/spark-hadoop-cloud_2.13/3.5.0/spark-hadoop-cloud_2.13-3.5.0.jar
В логах появится сообщение о запуске задачи с Magic Committer «INFO AbstractS3ACommitterFactory: Using committer magic to output data to s3a://<your-bucket-name>».