Обзор хранилища (Файловый менеджер)

Общая информация

Объектное хранилище S3 — основной ресурс для хранения большого объема данных. Оно обеспечивает безопасный и оперативный доступ к пользовательским данным, которые хранятся в виде объектов в бакетах.

Для каждого созданного воркспейса автоматически создается бакет, доступный всем пользователям workspace (тип доступа — public). Пользователь может создать личный бакет (тип доступа — private) для хранения данных, к которым он хочет ограничить доступ. Этот бакет будет отображаться в каждом воркспейсе (cм. Воркспейсы).

Взаимодействие с объектами в бакете (загрузка, скачивание, просмотр и др.) реализовано посредством Обзора хранилища. Он имитирует иерархическую структуру каталогов, упрощая визуальный поиск необходимых данных.

Для удобства отображения реализована возможность переименовать бакет. Чтобы переименовать бакет, перейдите в меню Кнопка с тремя вертикальными точками и выберите Переименовать.

После переименования, имя бакета будет изменено в модулях платформы Data transfer service. Для взаимодействия с внешними S3 нужно использовать credentials.

Временные ограничения при загрузке данных

Предупреждение

Запись данных в S3 бакеты воркспейсов, созданных до 27.11.2022, временно остановлена. Для загрузки новых данных в S3 просим:

  • Создать новый воркспейс. К новым воркспейсам бакет из нового хранилища S3 подключается автоматически. Запись в бакеты S3 новых воркспейсов доступна без ограничений.

  • Использовать для загрузки данных автоматически созданные к новому воркспейсу бакеты.

Загрузить данные в новый бакет можно через интерфейс Обзора хранилища и Data transfer service в новом воркспейсе. Для загрузки больших объемов данных можно также использовать сторонние клиентские приложения с графическим интерфейсом (например, Cyberduck и S3 Browser).

Данные для подключения (Credentials) нового бакета S3 созданного воркспейса можно получить в интерфейсе ML Space.

Созданный бакет можно использовать для загрузки данных в хранилище S3 в различных сценариях.

Сценарий 1

В коде скриптов Jupyter Server, задач обучения и деплоев для работы с S3 используются библиотеки boto3 или аналогичные. В этом случае достаточно заменить параметры подключения к бакету S3 (credentials) в старом воркспейcе на параметры подключения к бакету S3 (credentials) из нового воркспейса.

Сценарий 2

Перенос данных S3 и NFS, а также необходимых Jupyter Server и деплоев в новый воркспейс. В этом случае каких-либо изменений в коде скриптов не потребуется. Выполнить перенос данных из S3/NFS старого воркспейса можно, воспользовавшись Data Transfer Service.

Для переноса данных S3 или NFS старого воркспейса в S3 или NFS нового воркспейса соответственно необходимо создать правило переноса, указав в источнике старый воркспейс или бакет, а в месте назначения — новый воркспейс или бакет.

Сценарий 3

Без переноса данных S3 и NFS, а также необходимые Jupyter Server/деплои в новый воркспейс. Если в коде используется команда S3CopyJob функции client_lib, то необходимо заменить ее на команды copy_to_nfs и copy_from_nfs, предварительно создав коннектор к бакету S3 в новом воркспейсе, либо использовать методы библиотеки boto3 или аналогичных.

Если вы используете создание образов для деплоев в модуле Deployments, то в пункте “Хранилище S3” необходимо использовать вариант «Указать вручную» и ввести credentials от бакета S3 нового воркспейса.

При возникновении сложностей при создании или использовании новых бакетов обратитесь в техническую поддержку.

Сторонние инструменты для работы с Файловым менеджером

Для работы с файловым менеджером можно использовать:

Графические клиенты

  • S3 Browser

  • CyberDuck

  • WinSCP

  • BucketAnywhere

  • Консольные приложения

AWS CLI

  • S3cmd

  • SDK

AWS SDK для Java

  • AWS SDK для JavaScript

  • AWS SDK для .NET

  • AWS SDK для PHP

  • SDK для Python (boto)

FUSE

  • s3fs

  • goofys

Подробнее про эти инструменты можно посмотреть в документации объектного хранилища S3.