Как установить ключи доступа AK и SK очереди Spark для работы с таблицей OBS?

При создании SparkContext сделайте следующее:

val sc: SparkContext = new SparkContext()
sc.hadoopConfiguration.set("fs.obs.access.key", ak)
sc.hadoopConfiguration.set("fs.obs.secret.key", sk)

При создании SparkSession сделайте следующее:

val sparkSession: SparkSession = SparkSession
   .builder()
   .config("spark.hadoop.fs.obs.access.key", ak)
   .config("spark.hadoop.fs.obs.secret.key", sk)
   .enableHiveSupport()
   .getOrCreate()

Рекомендуется использовать временные ключи доступа.

См.также

Детальную информацию по получению временных ключей смотрите в статье Obtaining a Temporary AK/SK в справочном центре по API сервиса IAM.

Как установить ключи доступа AK и SK очереди Spark для работы с таблицей OBS?

Была ли статья полезной?