Перейдите в раздел Пользователи → Сервисные аккаунты.
Создайте cервисный аккаунт или откройте уже существующий.
Перейдите на вкладку API-ключи.
Нажмите Создать API-ключ.
Введите название ключа, например spark-api-key.
Введите описание ключа.
В поле Сервисы выберите Evolution Data Platform.
Нажмите Создать.
Сохраните значение API-ключа. После закрытия окна получить его будет нельзя.
Добавьте путь к скачанному сертификату в переменную окружения:
export GRPC_DEFAULT_SSL_ROOTS_FILE_PATH="<path-to-certificate>"
Вместо <path-to-certificate> укажите путь к скачанному сертификату.
Сформируйте URI для подключения к Spark Connect:
f"sc://{host}:{port}/;use_ssl=true;x-api-key={apikey}"
Укажите следующие значения:
{host} — хост из карточки инстанса Managed Spark.
{port} — 443.
{apikey} — сохраненное значение API-ключа.
URI содержит значения параметров:
Параметр | Значение | Описание |
|---|---|---|
use_ssl | true | Обязательный параметр. Включает TLS-шифрование соединения. |
x-api-key | Cохраненное значение API-ключа. | Обязательный параметр. Включает аутентификацию по API-ключу. |
Инициализируйте подключение с помощью скрипта:
import osfrom pyspark.sql.connect.session import SparkSessionfrom dotenv import load_dotenvload_dotenv()host = os.environ["SPARK_CONNECT_HOST"]apikey = os.environ["SA_API_KEY"]port = 443spark = SparkSession.builder.remote(f"sc://{host}:{port}/;use_ssl=true;x-api-key={apikey}").getOrCreate()