Как установить ключи доступа AK и SK очереди Spark для работы с таблицей OBS?
При создании SparkContext сделайте следующее:
val sc: SparkContext = new SparkContext()sc.hadoopConfiguration.set("fs.obs.access.key", ak)sc.hadoopConfiguration.set("fs.obs.secret.key", sk)
При создании SparkSession сделайте следующее:
val sparkSession: SparkSession = SparkSession.builder().config("spark.hadoop.fs.obs.access.key", ak).config("spark.hadoop.fs.obs.secret.key", sk).enableHiveSupport().getOrCreate()
Рекомендуется использовать временные ключи доступа.
См.также
Детальную информацию по получению временных ключей смотрите в статье Obtaining a Temporary AK/SK в справочном центре по API сервиса IAM.