Управление данными на платформе ML Space

Работа с данными в рамках платформы осуществляется в следующих направлениях:

  • Подключение внешних S3-хранилищ для загрузки датасетов, serving-скриптов, кода обучения, изображений и других пользовательских данных.

  • Перенос данных из внешних баз данных и файловых систем, а также из бакетов Evolution и Advanced в ML Space.

  • Миграция данных между внешними S3-хранилищами и NFS-хранилищем ML Space.

Использование данных для обучения моделей

Для обучения моделей пользовательские данные необходимо перенести в горячее хранилище NFS ML Space.

В NFS региона есть доступ только к пользовательским файлам, которые находятся на NFS-дисках региона. Точкой монтирования NFS региона по умолчанию является текущий рабочий каталог пользователя /home/jovyan/. Обзор данных на NFS и управление этими данными осуществляется через интерфейс Jupyter Server.

При создании окружений для каждого региона используется независимое хранилище. Подробнее о регионах размещения ресурсов.

ML Space