/ Docs
Платформа
ML Space
Evolution
Advanced
Облако VMware
ML Space
Кроссплатформенные
В консоль
AI Cloud ML Space, руководство пользователя облако Cloud.ru
Обзор ML Space
Преимущества
Возможности
Ограничения и особенности
Регионы размещения ресурсов
Что нового
Переход на домен cloud.ru
Обзорная страница
Воркспейсы
Доступы и роли
Быстрый старт
Инструкции
Профиль пользователя ML Space
Создать или редактировать воркспейс
Удалить воркспейс
Посмотреть ключи для работы с платформой
Заказать детализацию потребления
Просмотреть аудит-логи сервисов ML Space
Работа с данными
Создать бакет S3 ML Space
Получить credentials к S3
Получить ссылку на объект в S3 или NFS
Создать коннектор
Создать коннектор из ML Space на примере сервисов Advanced
Операции над коннекторами
Создать правило переноса
Операции над правилами переноса данных
Загрузить данные в хранилище S3 средствами платформы
Загрузить данные на S3 с помощью сторонних инструментов
Переместить данные между S3 и NFS
Узнать или изменить квоты NFS на объем хранилища и количество файлов
Рекомендации по работе с архивами на NFS
Работа с Docker-образами
Пример операций над Docker-образом на платформе ML Space
Собрать и использовать кастомный Docker-образ для Jupyter Server
Собрать и использовать кастомный Docker-образ для задачи обучения
Собрать кастомный Docker-образ для Deployments
Действия с образами в Docker registry
Переместить Docker-образ между воркспейсами
Работа с объектами Artifact Registry
Работа с готовыми датасетами из Dataset registry
Работа с готовыми моделями в Model registry
Работа в Jupyter Server
Создать Jupyter Server
Использовать инструменты, установленные в образе jupyter-server
Подключиться к существующему Jupyter Server
Перевод Jupyter Server из одного региона в другой
Остановить или удалить Jupyter Server
Работать из терминала Jupyter/JupyterLab
Действия с библиотеками в образах Jupyter Server
Использовать Jupyter Server со Spark
Пример запуска задачи с использованием Spark
Подключиться по SSH к Jupyter Server
Создать окружение в Jupyter Server с требуемой версией Python
Удалить виртуальное окружение
Подключиться к Jupyter Server по SSH в PyCharm
Подключиться к Jupyter Server по SSH в Visual Studio Code
Обучение моделей
Примеры препроцессинга данных
Установить библиотеки из Git-репозитория
Запустить процесс обучения
Обучить модель с использованием PyTorch Elastic Learning
Обучить модель с использованием библиотеки Horovod
Сохранить промежуточные результаты обучения (чекпоинты)
Провести эксперимент
Подключиться по SSH к задаче обучения из терминала
Мониторинг в ML Space
Проверить статистику по задачам и Jupyter Server
Проверить загрузку оборудования
Проверить модели в TensorBoard
Мониторинг аллокаций
Использовать GitLab CI при работе с Environments
Развертывание и эксплуатация моделей
Начало работы с деплоями
Сериализовать модель для использования в Deployments
Скрипты для прогнозирования на основе обученных моделей
Провалидировать serving-скрипт
Создать образ для деплоя
Развернуть модель (создать деплой)
Отправить синхронный HTTP-запрос к развернутой модели
Отправить асинхронный HTTP-запрос к развернутой модели
Пайплайны
Создать или отредактировать пайплайн
Работа с разными видами пайплайнов
Посмотреть логи пайплайна
Data Catalog и Artifact Registry
Объектное хранилище ML Space
Действия над папками и файлами
Работа с данными
Data transfer service
Artifact registry
Базовые концепции модуля Docker registry
Environments
Образы для задач обучения
Образы для Jupyter Server
Советы по оптимизации процесса обучения
Использование ресурсов
Мониторинг моделей
Deployments
Образы для деплоев
Типы деплоев
Карточка деплоя и образа
Пайплайны
Параметры пайплайнов
AI Marketplace
Подача заявки на размещение
DataHub
ruGPT-3 & family
AI Services
Сервис SaluteSpeech
Детекция номеров авто
Entity recognition
Text classification
CLI-утилита и client_lib
Функция client_lib
Job
S3CopyJob
ImageBuildJob
Общие команды
Команды копирования
Отключенные функции, параметры и команды client_lib
CLI-утилита ML Space
Описание команд и параметров
Создание с помощью CLI-утилиты окружения с нужной версией Python и CUDA
Активация окружения и установка пакетов
Экспорт текущего окружения в виде yml-файла
Отправка и получение окружения
Установка PyTorch в текущее окружение
Обновление текущего окружения с помощью yml-файла
Удаление окружения
Подключиться по SSH к задаче обучения
Справочник API
Аутентификация в API ML Space
Начало работы с API
Отправка API-запроса через Postman
Работа с Docker registry через API
Обучающие материалы
Большие языковые модели (LLM)
Возможности языковых моделей
Как работают большие языковые модели?
Как ML Space может помочь с LLM?
Настройка и обучение языковой модели (LLM) с использованием LoRA и PEFT
Distributed Data Parallel (DDP) в PyTorch
Общий алгоритм работы с PyTorch DDP
Пример использования PyTorch DDP
Решение проблем
Решение проблем при работе с данными
Ошибка «access denied» при скачивании из S3
Ошибка «Got permission denied while trying to connect to the Docker daemon» при загрузке образа в Docker registry для Linux
Не получается найти файлы после переноса на один из NFS
Решение проблем при обучении моделей
Ошибка NCCL WARN в логах задачи обучения
Ошибка «Permission denied, please try again» при запуске задачи обучения
Tensorflow/Pytorch не видит GPU, низкая скорость обучения
При выполнении команды «torch.cuda.is_available()» возвращается «False»
Ошибка «CUDA error: an illegal memory access was encountered»
Решение проблем при работе с Jupyter Servers
Ошибки при работе с окружениями, созданными с помощью CLI
Не получается установить CUDA средствами conda
Проблемы с подключением по SSH к Jupyter Server
Не могу создать Jupyter Server
Ошибки при недостатке места в NFS
Нестабильная работа терминала Jupyter Server из Яндекс.Браузера
Решение проблем при развертывании и эксплуатации моделей
Проблемы при выполнении асинхронного вызова
Не получается подключиться к GitLab ML Space через SSH
Вопросы и ответы
Общие вопросы ML Space
Вопросы по воркспейсам
Вопросы по работе с регионами
Вопросы по работе с данными
Artifact registry
Вопросы по окружениям и Jupyter Server
Вопросы по задачам обучения
Вопросы по Spark
Вопросы по развертыванию и эксплуатации моделей
Вопросы по асинхронным вызовам
Вопросы по пайплайнам
Вопросы по AI Marketplace
Тарификация
Термины и сокращения
Лицензии для компонентов Open Source
Обратиться в поддержку
AI Cloud ML Space, руководство пользователя облако Cloud.ru
Главная
Вопросы и ответы
ML Space
tocdepth
2
Вопросы и ответы
Общие вопросы ML Space
Вопросы по воркспейсам
Вопросы по работе с регионами
Вопросы по работе с данными
Вопросы по окружениям и Jupyter Server
Вопросы по задачам обучения
Вопросы по Spark
Вопросы по развертыванию и эксплуатации моделей
Вопросы по пайплайнам
Вопросы по AI Marketplace
Была ли статья полезной?
Да
Нет
Запустили Evolution free tier
для Dev & Test
Получить