tocdepth: 2

Загрузить данные на S3 с помощью сторонних инструментов

Данные в хранилище S3 можно загрузить как через платформу ML Space, так и с помощью таких инструментов, как Boto3 и CyberDuck.

Загрузка с помощью Boto3

Выполните следующие действия:

Перейдите в Environments → Jupyter Servers.
Создайте Jupyter Server или подключитесь к уже существующему.
Скопируйте и выполните в ноутбуке следующий код:

session = boto3.session.Session()
s3_client = session.client(
    service_name = "s3",
    aws_access_key_id = '<AWS_KEY_ID>',
    aws_secret_access_key = '<AWS_SECRET_ACCESS>',
    endpoint_url = '<ENDPOINT>',
    region_name = "ru-1a",
)

s3_client.upload_file(
    Filename= '/home/jovyan/test-files/project_1/test.py', # путь к загружаемому файлу
    Bucket = '<BUCKET>',
    Key = 'test/test.py', # путь загрузки файла на  S3
    ExtraArgs = { 'ACL': 'authenticated-read'}, # добавляем права на чтение другим пользователям

)

Загрузка с помощью CyberDuck

Выполните следующие действия:

Подключитесь к S3.
1. В окне программы CyberDuck выберите Новое подключение.
2. В выпадающем списке выберите Amazon S3 и заполните поля, используя credentials к S3:
  - В поле Cервер введите endpoint без https://.
  - В поле Access Key ID введите S3 access key ID.
  - В поле Secret Access Key введите S3 security key.
3. Нажмите Подключиться.
4. Откройте раздел Закладка → Новая закладка и в поле Path введите название S3 имя бакета со слешем, например /b-ws-abc. Используйте credentials к S3.
Включите доступ на чтение для всех пользователей:
1. В окне программы CyberDuck перейдите в настройки.
2. Откройте раздел S3.
3. В разделе Default ACL выберите authenticated-read.
Загрузите файлы.

См.также

Была ли статья полезной?

Спасибо за отзыв! Что можно улучшить?

Загрузить данные на S3 с помощью сторонних инструментов

Загрузка с помощью Boto3

Загрузка с помощью CyberDuck