Параметры задач Spark
Форма создания задачи позволяет определить ряд параметров в интерфейсе Cloud.ru. Ниже представлена таблица с параметрами задач Spark, которые не нужно добавлять вручную: их значения установлены по умолчанию или определяются аргументами и параметрами при создании задачи.
Параметр | Значение по умолчанию | Комментарий |
|---|---|---|
spark.eventLog.enabled | true | — |
spark.eventLog.dir | — | Значение определяется при создании задачи. |
spark.hadoop.fs.s3a.impl | org.apache.hadoop.fs.s3a. S3AFileSystem | — |
spark.hadoop.fs.s3a.aws.credentials.provider | org.apache.hadoop.fs.s3a. SimpleAWSCredentialsProvider | — |
spark.hadoop.fs.s3a.endpoint | — | Значение определяется при создании задачи. |
spark.hadoop.fs.s3a.access.key | — | Значение определяется при создании задачи. |
spark.hadoop.fs.s3a.secret.key | — | Значение определяется при создании задачи. |
spark.hadoop.fs.s3a.path.style.access | true | — |
spark.jars.ivy | /tmp/.ivy | — |
spark.kubernetes.executor.podNamePrefix | — | — |
io.netty.tryReflectionSetAccessible | true | — |