Можно ли использовать внешний бакет S3 в Spark?
Да, вы можете использовать объектное хранилище другого провайдера.
Чтобы использовать внешний S3:
Создайте публичный SNAT-шлюз для доступа инстанса к бакету.
Создайте сервисный аккаунт с ролями:
s3e.viewer
s3e.editor
-
выберите созданный сервисный аккаунт с ролями s3e.viewer и s3e.editor;
выберите Внешний S3 как место сохранения журнала событий и введите:
эндпоинт бакета;
регион;
идентификатор ключа доступа (access key ID);
секретный ключ доступа (secret key);
бакет в формате s3a://your-bucket-name.
Была ли статья полезной ?
Предыдущая статья
Вопросы и ответы
Следующая статья
Можно ли добавить пользовательский образ Spark?