- tocdepth
2
Параметры задач Spark
Форма создания задачи позволяет определить ряд параметров в интерфейсе Cloud.ru. Ниже представлена таблица с параметрами задач Spark, которые не нужно добавлять вручную: их значения установлены по умолчанию или определяются аргументами и параметрами при создании задачи.
Параметр |
Значение по умолчанию |
Комментарий |
|---|---|---|
spark.hadoop.fs.s3a.impl |
org.apache.hadoop.fs.s3a. S3AFileSystem |
— |
spark.hadoop.fs.s3a.aws.credentials.provider |
org.apache.hadoop.fs.s3a. SimpleAWSCredentialsProvider |
— |
spark.hadoop.fs.s3a.path.style.access |
true |
— |
spark.hadoop.fs.s3a.endpoint |
— |
Значение определяется при создании задачи. |
spark.hadoop.fs.s3a.access.key |
— |
Значение определяется при создании задачи. |
spark.hadoop.fs.s3a.secret.key |
— |
Значение определяется при создании задачи. |
spark.eventLog.enabled |
true |
— |
spark.eventLog.dir |
— |
Значение определяется при создании задачи. |
spark.jars.ivy |
/tmp/.ivy |
— |
io.netty.tryReflectionSetAccessible |
true |
— |
для Dev & Test