- tocdepth
2
Параметры пайплайнов
В этом разделе приведены параметры, которые используются для составления пайплайна.
К каждому параметру добавлено описание, которое может содержать тип, допустимые значения, объяснение сути параметра, пример. Параметры сгруппированы по назначению.
Отдельно указаны отключенные (deprecated) параметры.
Параметры корневого уровня
Параметр |
Описание |
|---|---|
|
Тип — Список шагов пайплайна. |
|
Тип — Версия пайплайна. От нее зависит, какие параметры можно использовать в коде пайплайна. Допустимые значения:
|
Параметры для каждого из nodes
Параметр |
Описание |
|---|---|
|
Тип — Определяет, какой модуль использовать. Допустимые значения:
|
|
Тип — Список шагов пайплайна вида |
|
Тип — Допустимые значения: от 0 до 100 включительно. Количество повторных запусков шага пайплайна. Доступно в версии 1. |
Параметры Data transfer service
Параметр |
Описание |
|---|---|
|
Тип — Название правила переноса. Пример: |
|
Тип — Идентификатор (id) коннектора источника. Значение доступно по кнопке Узнать ID коннектора. |
|
Тип — Идентификатор (id) коннектора места назначения. Значение доступно по кнопке Узнать ID коннектора. |
|
Тип — Схема логирования. Значение по умолчанию — Допустимые значения:
|
|
Тип — Допустимые значения: Стратегии переноса файлов. Подробнее о каждой:
|
|
Тип — Путь до переносимого файла или папки в источнике. Пример: |
|
Тип — Целевой путь в месте назначения. Пример: |
|
Тип — Значение по умолчанию — Допустимые значения:
Название региона. Используется при переносах в NFS. |
Параметры Environments
Примечание
При указании путей обращайте внимание, в каком NFS-хранилище и каталоге находится файл.
Параметр |
Описание |
|---|---|
|
Тип — Название базового образа, на основе которого создается новый.
Имеет вид |
|
Тип — Название окружения conda, если в образе используется не стандартное окружение python, а окружение anaconda. |
|
Тип — Значение по умолчанию — Допустимые значения:
|
|
Тип — Путь к файлу Пример: |
|
Тип — Путь к файлу |
Параметр |
Описание |
|---|---|
|
Тип — Базовый образ, в котором будет исполняться скрипт обучения модели.
Образ должен быть из Если указать несуществующий образ, задача не будет создана. |
|
Тип — Путь к скрипту обучения на NFS. Пример:
|
|
Тип — Конфигурация вычислительных ресурсов, используемых для решения задач. Пример: |
|
Тип — Значение по умолчанию — 1. Количество рабочих узлов региона, на которых будет выполняться скрипт. |
|
Тип — Значение по умолчанию — Допустимые значения: Тип распределенных вычислений. |
|
Тип — Значение по умолчанию — {}. Флаги, с которыми нужно запустить скрипт. Примечание Флаги без значений передавайте в параметре
|
|
Тип — Значение по умолчанию — 0 (задача не будет принудительно удалена). Время в минутах до принудительного удаления задачи, которая перешла в статус «Выполняется». Подробнее о статусах задач см. в разделе Какие статусы существуют у задач обучения?. |
|
Тип — Значение по умолчанию — {}. Переменные окружения. |
|
Тип — Значение по умолчанию — 1. Количество процессов на один рабочий узел региона, если не подходит количество процессов, равное количеству GPU. |
|
Тип — Название имеющегося в образе окружения conda, если используется не стандартное окружение python, а окружение anaconda. |
|
Тип — Пользовательское описание задачи. |
|
Тип — Значение по умолчанию: Допустимые значения:
Название региона. |
|
Тип — Значение по умолчанию — В значении Примечание Параметр доступен в регионах Christofari.V100, Cloud.Region.A100 (GPU Tesla A100), Cloud.Region.HP1. |
Параметры Deployments
Параметр |
Описание |
|---|---|
|
Тип — Название базового образа, на основе которого создается новый.
Должно начинаться с Подробнее — в разделе Библиотеки в образах. |
|
Тип — Путь к каталогу с артефактами модели. |
|
Тип — Путь к файлу serving-script в папке с артефактами. |
|
Тип — Путь к файлу |
|
Тип — S3 access key ID. Как получить credentials, см. в разделе Получить credentials к S3. |
|
Тип — S3 secret access key. Как получить credentials, см. в разделе Получить credentials к S3. |
|
Тип — S3 endpoint. Как получить credentials, см. в разделе Получить credentials к S3. |
Параметр |
Описание |
|---|---|
|
Тип — Название образа, из которого нужно создать деплой. |
|
Тип — Допустимые значения:
Название региона. |
|
Тип — Тип конфигурации вычислительных ресурсов, которые используются для решения задач. Для региона |
|
Тип — Допустимые значения: replicas:
min: 0
max: 100
Количество экземпляров. |
|
Тип — Название образа. |
|
Тип — Описание деплоя. |
Отключенные параметры
Параметр |
Для чего использовался |
|---|---|
|
Прогрев кеша. |
|
Допустимые значения — от 1 до 16. Количество GPU на одном рабочем узле. |
|
Лимит количества CPU. |
|
Лимит памяти в ГБ. |
|
Использование |
Конфигурации вычислительных ресурсов (instance_type)
Для просмотра доступных конфигураций используйте:
Вызов API возвращает образы и доступные конфигурации в задачах обучения, Jupyter Server и деплоях (инференсе).
Ключ
MT— для обучения моделей и Jupyter Server.Ключ
INF— для деплоев.
Вызов API возвращает доступные spark-конфигурации.
curl --location --request GET 'https://api.ai.cloud.ru/public/v2/configs?cluster_type=MT' \
--header 'x-api-key: eeeeccee-eeee-eeee-eeee-eeaeefeeb49c' \
--header 'x-workspace-id: frrrrrra-ceee-eeec-eeef-4df7ca4bbbb1' \
--header 'Authorization: j8eAMouA15uA0VHPZeicNWa7SL...'
curl --location --request GET 'https://api.ai.cloud.ru/public/v2/configs?cluster_type=INF' \
--header 'x-api-key: eeeeccee-eeee-eeee-eeee-eeaeefeeb49c' \
--header 'x-workspace-id: frrrrrra-ceee-eeec-eeef-4df7ca4bbbb1' \
--header 'Authorization: j8eAMouA15uA0VHPZeicNWa7SL...'
curl --location --request GET 'https://api.ai.cloud.ru/public/v2/configs/spark' \
--header 'x-api-key: eeeeccee-eeee-eeee-eeee-eeaeefeeb49c' \
--header 'x-workspace-id: frrrrrra-ceee-eeec-eeef-4df7ca4bbbb1' \
--header 'Authorization: j8eAMouA15uA0VHPZeicNWa7SL...'
для Dev & Test