Evolution
Тема интерфейса

Параметры задач Spark

Эта статья полезна?

Форма создания задачи позволяет определить ряд параметров в интерфейсе Cloud.ru. Ниже представлена таблица с параметрами задач Managed Spark, которые не нужно редактирровать вручную: их значения установлены по умолчанию или определяются аргументами и параметрами при создании задачи.

Параметр

Значение по умолчанию

spark.eventLog.enabled

true

spark.eventLog.dir

Значение определяется при создании задачи.

spark.hadoop.fs.s3a.impl

org.apache.hadoop.fs.s3a.S3AFileSystem

spark.hadoop.fs.s3a.aws.credentials.provider

org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider

spark.hadoop.fs.s3a.endpoint

Значение определяется при создании задачи.

spark.hadoop.fs.s3a.endpoint.region

При использовании Evolution Object Storage — ru-central-1.

spark.hadoop.fs.s3a.path.style.access

true

spark.jars.ivy

/tmp/.ivy

spark.kubernetes.executor.podNamePrefix

Устанавливается для корректного сбора и отображения метрик задач Managed Spark.

spark.kubernetes.driver.volumes.persistentVolumeClaim.spark-local-dir-1.options.claimName

OnDemand

park.kubernetes.driver.volumes.persistentVolumeClaim.spark-local-dir-1.options.storageClass

cloudru-nvme

spark.kubernetes.driver.volumes.persistentVolumeClaim.spark-local-dir-1.mount.path

/data

spark.kubernetes.driver.volumes.persistentVolumeClaim.spark-local-dir-1.mount.readOnly

false

spark.kubernetes.driver.volumes.persistentVolumeClaim.spark-local-dir-1.options.sizeLimit

1Gi

spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.options.claimName

OnDemand

spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.options.storageClass

cloudru-nvme

spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.mount.path

/data

spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.mount.readOnly

false

spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.options.sizeLimit

1Gi

spark.kubernetes.driver.ownPersistentVolumeClaim

false

spark.kubernetes.driver.reusePersistentVolumeClaim

false

spark.kubernetes.legacy.useReadWriteOnceAccessMode

true

spark.ui.proxyBase

Используется для корректной работы интерфейса Spark UI и Spark History Server.

spark.ui.proxyRedirectUri

/

Используется для корректной работы интерфейса Spark UI и Spark History Server.