nav-img
Evolution

Параметры задач Spark

Форма создания задачи позволяет определить ряд параметров в интерфейсе Cloud.ru. Ниже представлена таблица с параметрами задач Spark, которые не нужно добавлять вручную: их значения установлены по умолчанию или определяются аргументами и параметрами при создании задачи.

Параметр

Значение по умолчанию

Комментарий

spark.eventLog.enabled

true

spark.eventLog.dir

Значение определяется при создании задачи.

spark.hadoop.fs.s3a.impl

org.apache.hadoop.fs.s3a. S3AFileSystem

spark.hadoop.fs.s3a.aws.credentials.provider

org.apache.hadoop.fs.s3a. SimpleAWSCredentialsProvider

spark.hadoop.fs.s3a.endpoint

Значение определяется при создании задачи.

spark.hadoop.fs.s3a.access.key

Значение определяется при создании задачи.

spark.hadoop.fs.s3a.secret.key

Значение определяется при создании задачи.

spark.hadoop.fs.s3a.path.style.access

true

spark.jars.ivy

/tmp/.ivy

spark.kubernetes.executor.podNamePrefix

io.netty.tryReflectionSetAccessible

true