Форма создания задачи позволяет определить ряд параметров в интерфейсе Cloud.ru. Ниже представлена таблица с параметрами задач Managed Spark, которые не нужно редактирровать вручную: их значения установлены по умолчанию или определяются аргументами и параметрами при создании задачи.
Параметр | Значение по умолчанию |
|---|---|
spark.eventLog.enabled | true |
spark.eventLog.dir | Значение определяется при создании задачи. |
spark.hadoop.fs.s3a.impl | org.apache.hadoop.fs.s3a.S3AFileSystem |
spark.hadoop.fs.s3a.aws.credentials.provider | org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider |
spark.hadoop.fs.s3a.endpoint | Значение определяется при создании задачи. |
spark.hadoop.fs.s3a.endpoint.region | При использовании Evolution Object Storage — ru-central-1. |
spark.hadoop.fs.s3a.path.style.access | true |
spark.jars.ivy | /tmp/.ivy |
spark.kubernetes.executor.podNamePrefix | Устанавливается для корректного сбора и отображения метрик задач Managed Spark. |
spark.kubernetes.driver.volumes.persistentVolumeClaim.spark-local-dir-1.options.claimName | OnDemand |
park.kubernetes.driver.volumes.persistentVolumeClaim.spark-local-dir-1.options.storageClass | cloudru-nvme |
spark.kubernetes.driver.volumes.persistentVolumeClaim.spark-local-dir-1.mount.path | /data |
spark.kubernetes.driver.volumes.persistentVolumeClaim.spark-local-dir-1.mount.readOnly | false |
spark.kubernetes.driver.volumes.persistentVolumeClaim.spark-local-dir-1.options.sizeLimit | 1Gi |
spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.options.claimName | OnDemand |
spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.options.storageClass | cloudru-nvme |
spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.mount.path | /data |
spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.mount.readOnly | false |
spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.options.sizeLimit | 1Gi |
spark.kubernetes.driver.ownPersistentVolumeClaim | false |
spark.kubernetes.driver.reusePersistentVolumeClaim | false |
spark.kubernetes.legacy.useReadWriteOnceAccessMode | true |
spark.ui.proxyBase | Используется для корректной работы интерфейса Spark UI и Spark History Server. |
spark.ui.proxyRedirectUri | / Используется для корректной работы интерфейса Spark UI и Spark History Server. |