Docs
Начать работу
Все документы
AI Cloud ML Space, руководство пользователя облако Cloud.ru
Обзор ML Space
Преимущества
Возможности
Ограничения и особенности
Регионы размещения ресурсов
Что нового
Переход на домен cloud.ru
Обзорная страница
Воркспейсы
Доступы и роли
Быстрый старт
Инструкции
Профиль пользователя ML Space
Создать или редактировать воркспейс
Удалить воркспейс
Посмотреть ключи для работы с платформой
Заказать детализацию потребления
Работа с данными
Создать бакет
Получить credentials к S3
Получить ссылку на объект в S3 или NFS
Создать коннектор
Создать коннектор из ML Space к базе данных SQL на примере сервиса Advanced
Операции над коннекторами
Создать правило переноса
Операции над правилами переноса данных
Загрузить данные в хранилище S3 средствами платформы
Загрузить данные на S3 с помощью сторонних инструментов
Переместить данные между S3 и NFS
Узнать или изменить квоты NFS на объем хранилища и количество файлов
Рекомендации по работе с архивами на NFS
Работа с Docker-образами
Пример операций над Docker-образом на платформе ML Space
Собрать и использовать кастомный Docker-образ для Jupyter Server
Собрать и использовать кастомный Docker-образ для задачи обучения
Собрать кастомный Docker-образ для Deployments
Действия с образами в Docker registry
Переместить Docker-образ между воркспейсами
Работа с объектами Artifact Registry
Работа с готовыми датасетами из Dataset registry
Работа с готовыми моделями в Model registry
Работа в Jupyter Server
Создать Jupyter Server
Использовать инструменты, установленные в образе jupyter-server
Подключиться к существующему Jupyter Server
Перевод Jupyter Server из одного региона в другой
Остановить или удалить Jupyter Server
Работать из терминала Jupyter/JupyterLab
Действия с библиотеками в образах Jupyter Server
Использовать Jupyter Server со Spark
Пример запуска задачи с использованием Spark
Подключиться по SSH к Jupyter Server
Создать окружение в Jupyter Server с требуемой версией Python
Удалить виртуальное окружение
Удаленная отладка в Pycharm по SSH
Удаленная отладка в Visual Studio Code по SSH
Обучение моделей
Примеры препроцессинга данных
Установить библиотеки из Git-репозитория
Запустить процесс обучения
Обучить модель с использованием PyTorch Elastic Learning
Обучить модель с использованием библиотеки Horovod
Сохранить промежуточные результаты обучения (чекпоинты)
Провести эксперимент
Подключиться по SSH к задаче обучения из терминала
Мониторинг
Проверить статистику по задачам и Jupyter Server
Проверить загрузку оборудования
Проверить модели в TensorBoard
Мониторинг аллокаций
Использовать GitLab CI при работе с Environments
Развертывание и эксплуатация моделей
Начало работы с деплоями
Сериализовать модель для использования в Deployments
Скрипты для прогнозирования на основе обученных моделей
Провалидировать serving-скрипт
Создать образ для деплоя
Развернуть модель (создать деплой)
Отправить синхронный HTTP-запрос к развернутой модели
Отправить асинхронный HTTP-запрос к развернутой модели
Пайплайны
Создать или отредактировать пайплайн
Работа с разными видами пайплайнов
Посмотреть логи пайплайна
Data Catalog и Artifact Registry
Объектное хранилище
Действия над папками и файлами
Работа с данными
Data transfer service
Artifact registry
Базовые концепции модуля Docker registry
Environments
Образы для задач обучения
Образы для Jupyter Server
Советы по оптимизации процесса обучения
Использование ресурсов
Мониторинг моделей
Deployments
Образы для деплоев
Типы деплоев
Карточка деплоя и образа
Пайплайны
Параметры пайплайнов
AI Marketplace
Подача заявки на размещение
DataHub
ruGPT-3 & family
AI Services
Сервис SaluteSpeech
Детекция номеров авто
Entity recognition
Text classification
CLI-утилита и client_lib
Функция client_lib
Job
S3CopyJob
ImageBuildJob
EraserJob
Общие команды
Команды копирования
Отключенные параметры client_lib
CLI-утилита ML Space
Описание команд и параметров
Создание с помощью CLI-утилиты окружения с нужной версией Python и CUDA
Активация окружения и установка пакетов
Экспорт текущего окружения в виде yml-файла
Отправка и получение окружения
Установка PyTorch в текущее окружение
Обновление текущего окружения с помощью yml-файла
Удаление окружения
Подключиться по SSH к задаче обучения
Справочник API
Аутентификация в API
Начало работы с API
Отправка API-запроса через Postman
Работа с Docker registry через API
Обучающие материалы
Большие языковые модели (LLM)
Возможности языковых моделей
Как работают большие языковые модели?
Как ML Space может помочь с LLM?
Настройка и обучение языковой модели (LLM) с использованием LoRA и PEFT
Distributed Data Parallel (DDP) в PyTorch
Общий алгоритм работы с PyTorch DDP
Пример использования PyTorch DDP
Вопросы и ответы
Общие
Главная страница
Работа с разными регионами
Работа с данными
Artifact registry
Окружения и Jupyter Server
Задачи обучения
Spark
Развертывание и эксплуатация моделей
Асинхронные вызовы
Пайплайны
AI Marketplace
Тарификация
Термины и сокращения
Лицензии для компонентов Open Source
Обратиться в поддержку
AI Cloud ML Space, руководство пользователя облако Cloud.ru
Главная
CLI-утилита и client_lib
Функция client_lib
Отключенные параметры client_lib
ML Space
Отключенные параметры client_lib
Отключенные параметры
Параметр
Функция, в которой использовался
warm_cache
Job
n_gpus
Job
сpu_limit
Job
memory_limit
Job
cuda11
Job
Запустили Evolution free tier
для Dev & Test
Получить
Была ли статья полезной?
Да
Нет