Облачная платформаAdvanced

Как настроить AK/SK, чтобы General Queue мог получать доступ к таблицам, хранящимся в OBS?

Эта статья полезна?

Язык статьи: Русский

Страница переведена автоматически и может содержать неточности. Рекомендуем сверяться с английской версией.

Настройка Spark Jar Job для получения AK/SK

Чтобы получить AK/SK, задайте параметры следующим образом:

Создайте SparkContext с помощью кода.

val sc: SparkContext = new SparkContext()
sc.hadoopConfiguration.set("fs.obs.access.key", ak)
sc.hadoopConfiguration.set("fs.obs.secret.key", sk)

Создайте SparkSession с помощью кода.

val sparkSession: SparkSession = SparkSession
      .builder()
      .config("spark.hadoop.fs.obs.access.key", ak)
      .config("spark.hadoop.fs.obs.secret.key", sk)
      .enableHiveSupport()
      .getOrCreate()

Чтобы получить AK/SK и security token и использовать их совместно для аутентификации, задайте параметры следующим образом:

Создайте SparkContext с помощью кода.

val sc: SparkContext = new SparkContext()
sc.hadoopConfiguration.set("fs.obs.access.key", ak)
sc.hadoopConfiguration.set("fs.obs.secret.key", sk)
sc.hadoopConfiguration.set("fs.obs.session.token", sts)

Создайте SparkSession с помощью кода.

val sparkSession: SparkSession = SparkSession
      .builder()
      .config("spark.hadoop.fs.obs.access.key", ak)
      .config("spark.hadoop.fs.obs.secret.key", sk)
      .config("spark.hadoop.fs.obs.session.token", sts)
      .enableHiveSupport()
      .getOrCreate()

Родительская тема: Spark Job Development

Предыдущая статья

Как использовать Spark для записи данных в таблицу DLI?

Следующая статья

Как просмотреть использование ресурсов DLI Spark Jobs?

Эта статья полезна?

Поддержка Юридические документы Политика конфиденциальности