ML Space

Общие команды

client_lib_version

В ячейке Jupyter Server выполните:

import client_lib
from importlib.metadata import version
client_lib_version = version('client_lib')
print(client_lib_version)

Вывод покажет текущую версию client_lib.

client_lib.update()

Обновляет версию client_lib.

Примечание

Команда работает только в образе jupyter-server версии 0.0.95 и выше.
После выполнения команды обязательно перезагрузите ядро (kernel) Jupyter Server, как показано на скриншоте панели инструментов.

client_lib.kill(job_name)

Удаляет задачу с указанным названием.

client_lib.jobs()

Возвращает список задач, запущенных в воркспейсе пользователя на определенном регионе.

client_lib.jobs(region="DGX2-MT")

Доступны ключи регионов:

DGX2-MT — Christofari.V100
A100-MT — Christofari.A100
SR002-MT — Cloud.Region.A100 (GPU Tesla A100)
SR003 — Cloud.Region.HP1
SR006 — Cloud.Region.HP

client_lib.get_images()

Позволяет получить список образов, доступных в воркспейсе пользователя.

Команды для получения доступных конфигураций

client_lib.get_cluster_config()

Позволяет получить конфигурации, доступные для обучения моделей и инференса.

Параметры:

Параметр	Описание параметра
cluster_type (обяз.)	Тип — ClusterType \| str Значение по умолчанию — None Параметр определяет, ресурсы какого региона нужно отобразить. Возможные значения: MT — ресурсы, используемые для обучения моделей. INF — ресурсы, используемые для запуска инференса.
as_frame (опц.)	Тип — boolean Значение по умолчанию — False Параметр отвечает за преобразование вывода в pandas.DataFrame.

Параметр

Описание параметра

cluster_type (обяз.)

Тип — ClusterType | str

Значение по умолчанию — None

Параметр определяет, ресурсы какого региона нужно отобразить.

Возможные значения:

MT — ресурсы, используемые для обучения моделей.

INF — ресурсы, используемые для запуска инференса.

as_frame (опц.)

Тип — boolean

Значение по умолчанию — False

Параметр отвечает за преобразование вывода в pandas.DataFrame.

Пример запроса для получения доступных регионов и Docker-образов

print(list(client_lib.RegionMT))
print(list(client_lib.RegionINF))
print(list(client_lib.ClusterType))
print(list(client_lib.ImageType))

Пример ответа

[<RegionMT.DGX2_MT: 'DGX2-MT'>, <RegionMT.A100_MT: 'A100-MT'>, <RegionMT.SR002_MT: 'SR002-MT'>, <RegionMT.SR003: 'SR003'>, <RegionMT.SR006: 'SR006'>, <RegionMT.DGX2_MT_001: 'DGX2-MT-001'>]
[<RegionINF.DGX2_INF_001: 'DGX2-INF-001'>, <RegionINF.CCE_INF: 'CCE-INF'>]
[<ClusterType.MT: 'MT'>, <ClusterType.INF: 'INF'>]
[<ImageType.CUSTOM: 'CUSTOM'>, <ImageType.DATAHUB: 'DATAHUB'>, <ImageType.REGION_SPECIFIC: 'REGION_SPECIFIC'>]

Пример запроса доступных конфигураций регионов для обучения моделей

 client_lib.get_cluster_config(client_lib.ClusterType.MT, as_frame=True)

Пример запроса доступных конфигураций регионов для инференса

 client_lib.get_cluster_config(client_lib.ClusterType.INF, as_frame=True)

client_lib.get_instance_types()

Позволяет получить доступные конфигурации.

Параметры:

Параметр	Описание параметра
cluster_type (опц.)	Тип — ClusterType \| str Значение по умолчанию — MT Параметр определяет, ресурсы какого региона нужно отобразить. Возможные значения: MT — ресурсы, используемые для обучения моделей. INF — ресурсы, используемые для запуска инференса.
regions (опц.)	Тип — regions \| str Доступен для версии client_lib начиная с 0.33. Чтобы проверить версию client_lib воспользуйтесь командой. Параметр определяет, ресурсы какого региона нужно отобразить. Возможные значения ключей регионов: MT — ресурсы, всех регионов, используемые для обучения моделей. INF — ресурсы, всех регионов, используемые для запуска инференса. DGX2-MT — Christofari.V100 A100-MT — Christofari.A100 SR002-MT — Cloud.Region.A100 (GPU Tesla A100) SR003 — Cloud.Region.HP1 SR006 — Cloud.Region.HP

Параметр

Описание параметра

cluster_type (опц.)

Тип — ClusterType | str

Значение по умолчанию — MT

Параметр определяет, ресурсы какого региона нужно отобразить.

Возможные значения:

MT — ресурсы, используемые для обучения моделей.

INF — ресурсы, используемые для запуска инференса.

regions (опц.)

Тип — regions | str

Доступен для версии client_lib начиная с 0.33.

Чтобы проверить версию client_lib воспользуйтесь командой.

Параметр определяет, ресурсы какого региона нужно отобразить.

Возможные значения ключей регионов:

MT — ресурсы, всех регионов, используемые для обучения моделей.

INF — ресурсы, всех регионов, используемые для запуска инференса.

DGX2-MT — Christofari.V100

A100-MT — Christofari.A100

SR002-MT — Cloud.Region.A100 (GPU Tesla A100)

SR003 — Cloud.Region.HP1

SR006 — Cloud.Region.HP

Запрос доступных instance_type для всех регионов обучения моделей и визуализации с помощью pandas

import pandas as pd
from IPython.display import display

from client_lib import get_instance_types, ClusterType

with pd.option_context("display.max_rows", None):
    display(get_instance_types())

Запрос доступных instance_type для всех регионов обучения моделей

client_lib.get_instance_types()

Запрос фильтрации instance_type для нескольких регионов обучения моделей и визуализации с помощью pandas

import pandas as pd
from IPython.display import display

from client_lib import get_instance_types, ClusterType

with pd.option_context("display.max_rows", None):
    display(get_instance_types(regions=["SR002-MT","SR003"]))

Запрос фильтрации instance_type для нескольких регионов обучения моделей

client_lib.get_instance_types(regions=["SR002-MT","SR003"])

Запрос фильтрации instance_type для нескольких регионов инференса

 client_lib.get_instance_types("INF", regions=["CCE-INF"])

В переменной regions через запятую могут быть перечислены имена тех регионов, для которых требуется вывести доступные instance_type.

Запрос доступных instance_type для всех регионов инференса и визуализации с помощью pandas

import pandas as pd
from IPython.display import display

from client_lib import get_instance_types, ClusterType

with pd.option_context("display.max_rows", None):
    display(get_instance_types("INF"))

Запрос доступных instance_type для всех регионов инференса

client_lib.get_instance_types("INF")

client_lib.get_docker_images()

Позволяет получить доступные Docker-образы для обучения моделей или инференса.

Параметры:

Параметр	Описание параметра
cluster_type (обяз.)	Тип — ClusterType \| str Значение по умолчанию — None Параметр определяет, ресурсы какого региона нужно отобразить. Возможные значения: MT — ресурсы, используемые для обучения моделей. INF — ресурсы, используемые для запуска инференса.

Параметр

Описание параметра

cluster_type (обяз.)

Тип — ClusterType | str

Значение по умолчанию — None

Параметр определяет, ресурсы какого региона нужно отобразить.

Возможные значения:

MT — ресурсы, используемые для обучения моделей.

INF — ресурсы, используемые для запуска инференса.

Пример запроса доступных Docker-образов

 client_lib.get_docker_images(client_lib.ClusterType.MT)

client_lib.get_available_resources_count()

Возвращает список доступных ресурсов: instance_type, его конфигурацию и количество доступных воркеров.

Параметры:

Параметр	Описание параметра
region (опц.)	Тип — string Регион размещения ресурсов, для которого необходимо вывести доступные ресурсы. Доступны ключи регионов: DGX2-MT — Christofari.V100 A100-MT — Christofari.A100 SR002-MT — Cloud.Region.A100 (GPU Tesla A100) SR003 — Cloud.Region.HP1 SR006 — Cloud.Region.HP Если параметр не задан, список выводится для текущего региона.

Параметр

Описание параметра

region (опц.)

Тип — string

Регион размещения ресурсов, для которого необходимо вывести доступные ресурсы.

Доступны ключи регионов:

DGX2-MT — Christofari.V100
A100-MT — Christofari.A100
SR002-MT — Cloud.Region.A100 (GPU Tesla A100)
SR003 — Cloud.Region.HP1
SR006 — Cloud.Region.HP

Если параметр не задан, список выводится для текущего региона.

client_lib.save_aws_credentials (s3_namespace, access_key_id, security_key)

Сохраняет параметры доступа к S3-бакету в аккаунте пользователя. В дальнейшем эти параметры применяются по умолчанию для всех задач, связанных с S3. Можно перезаписать.

Параметры

Параметр	Описание параметра
s3_namespace (обяз.)	Тип — string Пространство имен S3-бакета
access_key_id (обяз.)	Тип — string Код доступа к S3 бакету
security_key (обяз.)	Тип — string Ключ безопасности S3-бакета

Была ли статья полезной ?

Поддержка Юридические документы