Можно ли использовать внешний бакет S3 в Spark?
Да, вы можете использовать объектное хранилище другого провайдера.
Чтобы использовать внешний S3:
-
Создайте публичный SNAT-шлюз для доступа инстанса к бакету.
-
-
s3e.viewer
-
s3e.editor
-
-
-
выберите созданный сервисный аккаунт с ролями s3e.viewer и s3e.editor;
-
выберите Внешний S3 как место сохранения журнала событий и введите:
-
эндпоинт бакета;
-
регион;
-
идентификатор ключа доступа (access key ID);
-
секретный ключ доступа (secret key);
-
бакет в формате s3a://your-bucket-name.
-
-