Environments
Environments — модуль для обучения моделей и препроцессинга данных на базе привычных DS-инструментов при помощи ресурсов суперкомпьютеров.
В рамках модуля можно:
Запустить обучение на ресурсах разных регионов, используя Jupyter Server/JupyterLab со всеми возможностями, включая Jupyter Notebook и терминалы.
Посмотреть данные в быстром локальном хранилище регионов через интерфейс Jupyter Server/JupyterLab.
Создать окружения — Jupyter Server на базе одного из образов для последующего запуска программного кода на выделенном регионе размещения вычислительных ресурсов.
Используя интерфейс хранилища, функцию client_lib, которая входит в состав Environments, или Data transfer service, можно переместить файлы с внешних S3 или Evolution Object Storage в «горячее» хранилище NFS ML Space. К NFS-дискам имеет доступ как Jupyter Server, так и воркеры-исполнители задач на регионах. Файлы, которые находятся на NFS-дисках региона, будут доступны Jupyter Server.
Взаимодействие с регионами происходит с помощью Jupyter Server/JupyterLab, а также интерфейсов API или терминала. С их помощью задача обучения модели отправляется в регион. Отслеживать статус задачи можно как из вкладки Задачи и окружения, так и с помощью функции client_lib.
В модуле есть утилиты для мониторинга:
Загрузки оборудования (Grafana®)
Моделей (TensorBoard®)
Эксперимент-менеджмента (MLflow®).
Это позволяет отслеживать загрузку ресурсов в разрезах CPU, GPU, RAM в любой момент времени. Для задач обучения на CPU мониторинг недоступен.