В этом документе
- Обзор ML Space
- Начало работы с ML Space
- Концепции
- Модули и сервисы ML Space
- Воркспейсы
- Доступы и роли
- Регионы размещения ресурсов
- Аллокации
- Типы и особенности Jupyter Servers
- Переходы между статусами Jupyter Server
- Образы для Jupyter Server
- Образы для задач обучения
- Образы для деплоев
- Советы по оптимизации процесса обучения
- Метрики в ML Space
- Лицензии для компонентов Open Source
- Инструкции
- Управление профилем и воркспейсами в ML Space
- Подключение и работа с источниками данных
- Создать коннектор
- Создать коннектор к экземпляру Relational Database Service SQL Server в Advanced
- Операции над коннекторами
- Создать правило переноса
- Операции над правилами переноса данных
- Переместить данные между внешними S3 и NFS
- Узнать или изменить квоты NFS на объем хранилища и количество объектов
- Скопировать путь до объекта на NFS
- Рекомендации по работе с архивами на NFS
- Работа в Jupyter Server
- Создать Jupyter Server и подключиться к нему через интерфейс ML Space
- Подключить и управлять хранилищем S3 в Jupyter Server
- Создать и активировать окружение в запущенном Jupyter Server
- Подключиться к Jupyter Server по SSH из локальной IDE или терминала
- Установить и обновить библиотеки в созданном Jupyter Server
- Собрать и использовать кастомный Docker-образ для Jupyter Server
- Использовать Jupyter Server со Spark
- Остановить или удалить Jupyter Server
- Обучение моделей
- Примеры препроцессинга данных
- Установить библиотеки из Git-репозитория
- Запустить процесс обучения
- Обучить модель с использованием PyTorch Elastic Learning
- Обучить модель с использованием библиотеки Horovod
- Сохранить промежуточные результаты обучения (чекпоинты)
- Собрать и использовать кастомный Docker-образ для задачи обучения на основе базового образа платформы
- Собрать и использовать кастомный Docker-образ для задачи обучения на основе внешнего образа
- Мониторинг в ML Space
- Работа с Docker-образами
- CLI-утилита и client_lib
- Использовать GitLab CI при работе с Environments
- Развертывание и эксплуатация моделей
- Начало работы с деплоями
- Сериализовать модель для использования в Deployments
- Скрипты для прогнозирования на основе обученных моделей
- Провалидировать serving-скрипт
- Создать образ для деплоя
- Развернуть модель (создать деплой)
- Отправить синхронный HTTP-запрос к развернутой модели
- Отправить асинхронный HTTP-запрос к развернутой модели
- Обучающие материалы
- Справочник API
- Решение проблем
- Решение проблем при работе с данными
- Решение проблем при обучении моделей
- Ошибка NCCL WARN в логах задачи обучения
- Ошибка «Permission denied, please try again» при запуске задачи обучения
- Tensorflow/Pytorch не видит GPU, низкая скорость обучения
- При выполнении команды «torch.cuda.is_available()» возвращается «False»
- Ошибка «CUDA error: an illegal memory access was encountered»
- Задача завершилась с ошибкой OOMKilled
- Решение проблем при работе с Jupyter Servers
- Решение проблем при развертывании и эксплуатации моделей
- Не получается подключиться к GitLab ML Space через SSH
- Вопросы и ответы
- Тарификация
- Термины и сокращения
- Обратиться в поддержку
Была ли статья полезной ?