Data Transfer содержит Data transfer service, который отвечает за обмен данными между системными хранилищами и перенос данных с заданной периодичностью из внешних источников (файловых систем на базе S3 и баз данных).
Использовать правила переноса в Data Transfer Service.
Для полноценной работы с S3 необходимо использовать платформы, где этот сервис предоставляется по умолчанию:
Evolution
Advanced
Создайте коннектор к внешнему S3 и используйте данные оттуда на NFS при обучении или работе в Jupyter Server.
Вы можете загружать и хранить данные в любом формате.
Для обучения моделей пользовательские данные необходимо перенести в «горячее» хранилище NFS Distributed Train.
Для этого необходимо создать Правила переносов в Data transfer service. Прогресс и результат переноса доступны в История переносов в Data transfer service. Данные на NFS можно посмотреть через интерфейс Jupyter/JupyterLab в модуле Environments.
Подробнее смотрите в Тарификация сервиса Distributed Train.
На NFS-сервере установлены SSD-диски.
Подробнее смотрите в Регионы размещения ресурсов и зоны хранения.
При работе с Distributed Train для каждого региона размещения вычислительных ресурсов используется независимое хранилище NFS. Например, при создании Jupyter Server в регионе Christofari.V100 • DGX2-INF-001 используется хранилище NFS, которое относится к региону Christofari.V100 • DGX2-INF-001, и так далее, в зависимости от региона.
Для просмотра содержимого NFS в нужном регионе можете создать Jupyter Server с типом Управление распределенными задачами.
Для переноса данных между регионами воспользуйтесь Data transfer service.
Для переноса данных из одного воркспейса в другой между разными папками
необходимо создать правило переноса, выбрав системный коннектор к NFS в качестве источника.На NFS для всех пользователей установлен
в namespace.Воспользуйтесь инструкцией по переносу в S3 Advanced.
Воспользуйтесь инструкцией по переносу в S3 Evolution.
Создайте кастомный коннектор к S3 необходимого сервиса.