Вопросы по подключению и работе с источниками данных

Зачем нужен Data Catalog?

Data Catalog содержит Data transfer service, который отвечает за обмен данными между системными хранилищами и перенос данных с заданной периодичностью из внешних источников (файловых систем на базе S3 и баз данных).

Как я могу загрузить данные в хранилище S3 Cloud.ru?

Использовать правила переноса в Data Transfer Service.

Какие платформы Cloud.ru позволяют хранить данные для использования в ML Space?

Для полноценной работы с S3 необходимо использовать платформы, где этот сервис предоставляется по умолчанию:

• Advanced

• Evolution

Как использовать ML Space, если S3 вне Cloud.ru?

Создайте коннектор к внешнему S3 и используйте данные оттуда на NFS при обучении или работе в Jupyter Server.

Какие форматы данных я могу хранить в хранилище Data Catalog?

Вы можете загружать и хранить данные в любом формате.

Как использовать данные из хранилища Data Catalog для обучения?

Для обучения моделей пользовательские данные необходимо перенести в «горячее» хранилище NFS ML Space.

Для этого необходимо создать Правила переносов в Data transfer service. Прогресс и результат переноса доступны в История переносов в Data transfer service. Данные на NFS можно посмотреть через интерфейс Jupyter/JupyterLab в модуле Environments.

Как устроена тарификация Data Catalog?

Подробнее смотрите в Тарификация.

Какой тип дисков на NFS-сервере?

На NFS-сервере установлены SSD-диски. Подробнее смотрите в Регионы размещения ресурсов.

Какие хранилища используются в регионах размещения вычислительных ресурсов при работе с платформой?

При работе с платформой ML Space для каждого региона размещения вычислительных ресурсов используется независимое хранилище NFS. Например, при создании Jupyter Server в регионе Christofari.V100 используется хранилище NFS, которое относится к региону Christofari.V100, и так далее, в зависимости от региона.

Для просмотра содержимого NFS в нужном регионе можете создать Jupyter Server с типом Управление распределенными задачами.

Как перенести данные с NFS одного региона на NFS другого региона?

Для переноса данных между регионами воспользуйтесь Data transfer service.

Как перенести данные между хранилищами разных воркспейсов?

Для переноса данных из одного воркспейса в другой между разными папками NFS необходимо создать правило переноса, выбрав системный коннектор к NFS в качестве источника.

Как узнать свой лимит на количество файлов?

На NFS для всех пользователей установлен лимит на количество файлов в namespace.

Подробнее о квотах и лимитах.

Как перенести данные в Object Storage Service Advanced?

Воспользуйтесь инструкцией по переносу в S3 Advanced.

Как перенести данные в Object Storage Evolution?

Воспользуйтесь инструкцией по переносу в S3 Evolution.

Как перенести данные из S3 одного проекта Evolution или Advanced в S3 другого проекта?

Создайте кастомный коннектор к S3 необходимого сервиса.