Можно ли использовать внешний бакет S3 в Spark?

Да, вы можете использовать объектное хранилище другого провайдера.

Чтобы использовать внешний S3:

1. Создайте публичный SNAT-шлюз для доступа инстанса к бакету.

2. Создайте сервисный аккаунт с ролями:

   • s3e.viewer

   • s3e.editor

3. При создании инстанса:

   1. выберите созданный сервисный аккаунт с ролями s3e.viewer и s3e.editor;

   2. выберите Внешний S3 как место сохранения журнала событий и введите:

      • эндпоинт бакета;

      • регион;

      • идентификатор ключа доступа (access key ID);

      • секретный ключ доступа (secret key);

      • бакет в формате s3a://your-bucket-name.

Подробнее о создании инстанса.