Форма создания задачи позволяет определить ряд параметров в интерфейсе Cloud.ru. Ниже представлена таблица с параметрами задач Spark, которые не нужно добавлять вручную: их значения установлены по умолчанию или определяются аргументами и параметрами при создании задачи.
Параметр | Значение по умолчанию | Комментарий |
|---|---|---|
spark.eventLog.enabled | true | — |
spark.eventLog.dir | — | Значение определяется при создании задачи. |
spark.hadoop.fs.s3a.impl | org.apache.hadoop.fs.s3a. S3AFileSystem | — |
spark.hadoop.fs.s3a.aws.credentials.provider | org.apache.hadoop.fs.s3a. SimpleAWSCredentialsProvider | — |
spark.hadoop.fs.s3a.endpoint | — | Значение определяется при создании задачи. |
spark.hadoop.fs.s3a. endpoint.region | — | |
spark.hadoop.fs.s3a.path. style.access | true | — |
spark.jars.ivy | /tmp/.ivy | — |
spark.kubernetes.executor.podNamePrefix | — | Устанавливается для корректного сбора и отображения метрик Spark-задач. |
spark.kubernetes.driver.volumes. persistentVolumeClaim.spark-local-dir-1. options.claimName | OnDemand | — |
spark.kubernetes.driver.volumes. persistentVolumeClaim.spark-local-dir-1. options.storageClass | cloudru-nvme | |
spark.kubernetes.driver.volumes. persistentVolumeClaim.spark-local-dir-1. mount.path | /data | — |
spark.kubernetes.driver.volumes. persistentVolumeClaim.spark-local-dir-1. mount.readOnly | false | — |
spark.kubernetes.driver.volumes. persistentVolumeClaim.spark-local-dir-1. options.sizeLimit | — | Объем PVC. |
spark.kubernetes.executor.volumes. persistentVolumeClaim.spark-local-dir-1. options.claimName | OnDemand | — |
spark.kubernetes.executor.volumes. persistentVolumeClaim.spark-local-dir-1. options.storageClass | cloudru-nvme | — |
spark.kubernetes.executor.volumes. persistentVolumeClaim.spark-local-dir-1. mount.path | /data | — |
spark.kubernetes.executor.volumes. persistentVolumeClaim.spark-local-dir-1. mount.readOnly | false | — |
spark.kubernetes.executor.volumes. persistentVolumeClaim.spark-local-dir-1. options.sizeLimit | — | Объем PVC. |
spark.kubernetes.driver. ownPersistentVolumeClaim | false | — |
spark.kubernetes.driver. reusePersistentVolumeClaim | false | — |
spark.kubernetes.legacy. useReadWriteOnceAccessMode | true | — |
spark.ui.proxyBase | — | Используется для корректной работы интерфейса Spark webUI и Spark History Server. |
spark.ui.proxyRedirectUri | / | Используется для корректной работы интерфейса Spark webUI и Spark History Server. |