Можно ли использовать внешний бакет S3 в Spark?

Да, вы можете использовать объектное хранилище другого провайдера.

Чтобы использовать внешний S3:

  1. Создайте публичный SNAT-шлюз для доступа инстанса к бакету.

  2. Создайте сервисный аккаунт с ролями:

    • s3e.viewer

    • s3e.editor

  3. При создании инстанса:

    1. выберите созданный сервисный аккаунт с ролями s3e.viewer и s3e.editor;

    2. выберите Внешний S3 как место сохранения журнала событий и введите:

      • эндпоинт бакета;

      • регион;

      • идентификатор ключа доступа (access key ID);

      • секретный ключ доступа (secret key);

      • бакет в формате s3a://your-bucket-name.

Подробнее о создании инстанса.

Evolution