srv-img ML Space

Общие команды

client_lib_version

В ячейке Jupyter Server выполните:

 
import client_lib
from importlib.metadata import version
client_lib_version = version('client_lib')
print(client_lib_version)

Вывод покажет текущую версию client_lib.

client_lib.update()

Обновляет версию client_lib.
Примечание

  • Команда работает только в образе jupyter-server версии 0.0.95 и выше.

  • После выполнения команды обязательно перезагрузите ядро (kernel) Jupyter Server, как показано на скриншоте панели инструментов.

     ../_images/s__reboot-js-kernel.png

client_lib.kill(job_name)

Удаляет задачу с указанным названием.

client_lib.jobs()

Возвращает список задач, запущенных в воркспейсе пользователя на определенном регионе.

 
client_lib.jobs(region="DGX2-MT")

Доступны ключи регионов:

  • DGX2-MT — Christofari.V100

  • A100-MT — Christofari.A100

  • SR002-MT — Cloud.Region.A100 (GPU Tesla A100)

  • SR003 — Cloud.Region.HP1

  • SR006 — Cloud.Region.HP

client_lib.get_images()

Позволяет получить список образов, доступных в воркспейсе пользователя.

Команды для получения доступных конфигураций

client_lib.get_cluster_config()

Позволяет получить конфигурации, доступные для обучения моделей и инференса.

Параметры:

Параметр

Описание параметра

cluster_type (обяз.)

Тип — ClusterType|str

…

Значение по умолчанию — None

…

Параметр определяет, ресурсы какого региона нужно отобразить.

Возможные значения:

  • MT — ресурсы, используемые для обучения моделей.

  • INF — ресурсы, используемые для запуска инференса.

as_frame (опц.)

Тип — boolean

Значение по умолчанию — False

…

Параметр отвечает за преобразование вывода в pandas.DataFrame.
Пример запроса для получения доступных регионов и Docker-образов
print(list(client_lib.RegionMT))
print(list(client_lib.RegionINF))
print(list(client_lib.ClusterType))
print(list(client_lib.ImageType))
Пример ответа
[<RegionMT.DGX2_MT: 'DGX2-MT'>, <RegionMT.A100_MT: 'A100-MT'>, <RegionMT.SR002_MT: 'SR002-MT'>, <RegionMT.SR003: 'SR003'>, <RegionMT.SR006: 'SR006'>, <RegionMT.DGX2_MT_001: 'DGX2-MT-001'>]
[<RegionINF.DGX2_INF_001: 'DGX2-INF-001'>, <RegionINF.CCE_INF: 'CCE-INF'>]
[<ClusterType.MT: 'MT'>, <ClusterType.INF: 'INF'>]
[<ImageType.CUSTOM: 'CUSTOM'>, <ImageType.DATAHUB: 'DATAHUB'>, <ImageType.REGION_SPECIFIC: 'REGION_SPECIFIC'>]
Пример запроса доступных конфигураций регионов для обучения моделей
 client_lib.get_cluster_config(client_lib.ClusterType.MT, as_frame=True)
Пример запроса доступных конфигураций регионов для инференса
 client_lib.get_cluster_config(client_lib.ClusterType.INF, as_frame=True)

client_lib.get_instance_types()

Позволяет получить доступные конфигурации.

Параметры:

Параметр

Описание параметра

cluster_type (опц.)

Тип — ClusterType|str

Значение по умолчанию — MT

…

Параметр определяет, ресурсы какого региона нужно отобразить.

Возможные значения:

  • MT — ресурсы, используемые для обучения моделей.

  • INF — ресурсы, используемые для запуска инференса.

regions (опц.)

Тип — regions|str

…

Доступен для версии client_lib начиная с 0.33.

Чтобы проверить версию client_lib воспользуйтесь командой.

Параметр определяет, ресурсы какого региона нужно отобразить.

Возможные значения ключей регионов:

  • MT — ресурсы, всех регионов, используемые для обучения моделей.

  • INF — ресурсы, всех регионов, используемые для запуска инференса.

  • DGX2-MT — Christofari.V100

  • A100-MT — Christofari.A100

  • SR002-MT — Cloud.Region.A100 (GPU Tesla A100)

  • SR003 — Cloud.Region.HP1

  • SR006 — Cloud.Region.HP
Запрос доступных instance_type для всех регионов обучения моделей и визуализации с помощью pandas
import pandas as pd
from IPython.display import display


from client_lib import get_instance_types, ClusterType


with pd.option_context("display.max_rows", None):
    display(get_instance_types())
Запрос доступных instance_type для всех регионов обучения моделей
client_lib.get_instance_types()
Запрос фильтрации instance_type для нескольких регионов обучения моделей и визуализации с помощью pandas
import pandas as pd
from IPython.display import display


from client_lib import get_instance_types, ClusterType


with pd.option_context("display.max_rows", None):
    display(get_instance_types(regions=["SR002-MT","SR003"]))
Запрос фильтрации instance_type для нескольких регионов обучения моделей
client_lib.get_instance_types(regions=["SR002-MT","SR003"])
Запрос фильтрации instance_type для нескольких регионов инференса
 client_lib.get_instance_types("INF", regions=["CCE-INF"])

В переменной regions через запятую могут быть перечислены имена тех регионов, для которых требуется вывести доступные instance_type.
Запрос доступных instance_type для всех регионов инференса и визуализации с помощью pandas
import pandas as pd
from IPython.display import display


from client_lib import get_instance_types, ClusterType


with pd.option_context("display.max_rows", None):
    display(get_instance_types("INF"))
Запрос доступных instance_type для всех регионов инференса
client_lib.get_instance_types("INF")

client_lib.get_docker_images()

Позволяет получить доступные Docker-образы для обучения моделей или инференса.

Параметры:

Параметр

Описание параметра

cluster_type (обяз.)

Тип — ClusterType|str

Значение по умолчанию — None

…

Параметр определяет, ресурсы какого региона нужно отобразить.

Возможные значения:

  • MT — ресурсы, используемые для обучения моделей.

  • INF — ресурсы, используемые для запуска инференса.
Пример запроса доступных Docker-образов
 client_lib.get_docker_images(client_lib.ClusterType.MT)

client_lib.get_available_resources_count()

Возвращает список доступных ресурсов: instance_type, его конфигурацию и количество доступных воркеров.

Параметры:

Параметр

Описание параметра

region (опц.)

Тип — string

…

Регион размещения ресурсов, для которого необходимо вывести доступные ресурсы.

Доступны ключи регионов:

  • DGX2-MT — Christofari.V100

  • A100-MT — Christofari.A100

  • SR002-MT — Cloud.Region.A100 (GPU Tesla A100)

  • SR003 — Cloud.Region.HP1

  • SR006 — Cloud.Region.HP

Если параметр не задан, список выводится для текущего региона.

client_lib.save_aws_credentials (s3_namespace, access_key_id, security_key)

Сохраняет параметры доступа к S3-бакету в аккаунте пользователя. В дальнейшем эти параметры применяются по умолчанию для всех задач, связанных с S3. Можно перезаписать.

Параметры

Параметр

Описание параметра

s3_namespace (обяз.)

Тип — string

…

Пространство имен S3-бакета

access_key_id (обяз.)

Тип — string

…

Код доступа к S3 бакету

security_key (обяз.)

Тип — string

…

Ключ безопасности S3-бакета
Была ли статья полезной ?
Предыдущая статья
ImageBuildJob
Следующая статья
Команды копирования
/ DOCS
ML Space