Обзор хранилища (Файловый менеджер)
Общая информация
Объектное хранилище S3 — основной ресурс для хранения большого объема данных. Оно обеспечивает безопасный и оперативный доступ к пользовательским данным, которые хранятся в виде объектов в бакетах.
Для каждого созданного воркспейса автоматически создается бакет, доступный всем пользователям workspace (тип доступа — public). Пользователь может создать личный бакет (тип доступа — private) для хранения данных, к которым он хочет ограничить доступ. Этот бакет будет отображаться в каждом воркспейсе (cм. Воркспейсы).
Взаимодействие с объектами в бакете (загрузка, скачивание, просмотр и др.) реализовано посредством Обзора хранилища. Он имитирует иерархическую структуру каталогов, упрощая визуальный поиск необходимых данных.
Для удобства отображения реализована возможность переименовать бакет.
Чтобы переименовать бакет, перейдите в меню и выберите Переименовать.
После переименования, имя бакета будет изменено в модулях платформы Data transfer service. Для взаимодействия с внешними S3 нужно использовать credentials.
Временные ограничения при загрузке данных
Предупреждение
Запись данных в S3 бакеты воркспейсов, созданных до 27.11.2022, временно остановлена. Для загрузки новых данных в S3 просим:
Создать новый воркспейс. К новым воркспейсам бакет из нового хранилища S3 подключается автоматически. Запись в бакеты S3 новых воркспейсов доступна без ограничений.
Использовать для загрузки данных автоматически созданные к новому воркспейсу бакеты.
Загрузить данные в новый бакет можно через интерфейс Обзора хранилища и Data transfer service в новом воркспейсе. Для загрузки больших объемов данных можно также использовать сторонние клиентские приложения с графическим интерфейсом (например, Cyberduck и S3 Browser).
Данные для подключения (Credentials) нового бакета S3 созданного воркспейса можно получить в интерфейсе ML Space.
Созданный бакет можно использовать для загрузки данных в хранилище S3 в различных сценариях.
Сценарий 1
В коде скриптов Jupyter Server, задач обучения и деплоев для работы с S3 используются библиотеки boto3 или аналогичные. В этом случае достаточно заменить параметры подключения к бакету S3 (credentials) в старом воркспейcе на параметры подключения к бакету S3 (credentials) из нового воркспейса.
Сценарий 2
Перенос данных S3 и NFS, а также необходимых Jupyter Server и деплоев в новый воркспейс. В этом случае каких-либо изменений в коде скриптов не потребуется. Выполнить перенос данных из S3/NFS старого воркспейса можно, воспользовавшись Data Transfer Service.
Для переноса данных S3 или NFS старого воркспейса в S3 или NFS нового воркспейса соответственно необходимо создать правило переноса, указав в источнике старый воркспейс или бакет, а в месте назначения — новый воркспейс или бакет.
Сценарий 3
Без переноса данных S3 и NFS, а также необходимые Jupyter Server/деплои в новый воркспейс. Если в коде используется команда S3CopyJob функции client_lib, то необходимо заменить ее на команды
copy_to_nfs
иcopy_from_nfs
, предварительно создав коннектор к бакету S3 в новом воркспейсе, либо использовать методы библиотеки boto3 или аналогичных.Если вы используете создание образов для деплоев в модуле Deployments, то в пункте “Хранилище S3” необходимо использовать вариант «Указать вручную» и ввести credentials от бакета S3 нового воркспейса.
При возникновении сложностей при создании или использовании новых бакетов обратитесь в техническую поддержку.
Сторонние инструменты для работы с Файловым менеджером
Для работы с файловым менеджером можно использовать:
- Графические клиенты
S3 Browser
CyberDuck
WinSCP
BucketAnywhere
Консольные приложения
- AWS CLI
S3cmd
SDK
- AWS SDK для Java
AWS SDK для JavaScript
AWS SDK для .NET
AWS SDK для PHP
SDK для Python (boto)
- FUSE
s3fs
goofys
Подробнее про эти инструменты можно посмотреть в документации объектного хранилища S3.