Управление данными в Distributed Train
Работа с данными осуществляется в следующих направлениях:
Подключение внешних S3-хранилищ для загрузки датасетов, serving-скриптов, кода обучения, изображений и других пользовательских данных.
Перенос данных из внешних баз данных и файловых систем, а также из бакетов Evolution и Advanced в Distributed Train.
Миграция данных между внешними S3-хранилищами и NFS-хранилищем Distributed Train.
Использование данных для обучения моделей
Для обучения моделей пользовательские данные необходимо перенести в горячее хранилище NFS Distributed Train.
В NFS региона есть доступ только к пользовательским файлам, которые находятся на NFS-дисках региона. Точкой монтирования NFS региона по умолчанию является текущий рабочий каталог пользователя /home/jovyan/. Обзор данных на NFS и управление этими данными осуществляется через интерфейс Jupyter Server.
При создании окружений для каждого региона используется независимое хранилище. Подробнее о регионах размещения ресурсов.
- Использование данных для обучения моделей