Перед началом использования Distributed Train ознакомьтесь с ее особенностями и ограничениями.
Обработка транзакций по системе блок-чейн, в том числе «майнинг», в платформе запрещены. Данное условие закреплено в договоре-оферте (Приложение № 3).
Квоты на GPU — ограничения на количество ресурсов для задач обучения и Jupyter Servers. Администратор организации может распределять квоты между проектами.
При установке квот на GPU задачи обучения и Jupyter Servers не переходят в статус «Ожидает ресурсов», если в очереди недостаточно доступных ресурсов.
В сервисе Distributed Train можно установить следующие квоты на GPU:
Квота | Описание |
|---|---|
Общий объем GPU A100 | Общее количество GPU A100 для задач обучения и Jupyter Servers. |
Общий объем GPU H100 | Общее количество GPU H100 для задач обучения и Jupyter Servers. |
GPU A100 для задач обучения | Количество GPU A100, которые могут быть задействованы только в задачах обучения. |
GPU A100 для Jupyter Servers | Количество GPU A100, которые могут быть задействованы только в Jupyter Servers. |
GPU H100 для задач обучения | Количество GPU H100, которые могут быть задействованы только в задачах обучения. |
GPU H100 для Jupyter Servers | Количество GPU H100, которые могут быть задействованы только в Jupyter Servers. |
Для оптимальной производительности рекомендуем использовать самую свежую версию одного из следующих браузеров:
Google Chrome (рекомендуемый)
Яндекс.Браузер. Нестабильная работа терминала Jupyter Server из Яндекс.Браузера в образах Jupyter Server версии 0.0.92 и выше.
Минимальное разрешение экрана (в пикселях):
1366 \(\times\) 768
Рекомендуемое разрешение экрана (в пикселях):
1920 \(\times\) 1080
Канал передачи данных:
не менее 50 Мбит/с
На NFS для всех пользователей установлен лимит на количество файлов в namespace.
Если количество файлов для одного переноса превышает 400 000, перенос не выполнится.
400 000 — это допустимая сумма файлов в источнике и месте назначения при выборе следующих способов переноса:
Добавлять только новые записи.
Полная синхронизация.
Например, если при запуске переноса Добавить только новые записи в источнике находится 250 000 файлов, а в месте назначения — 150 000 файлов, то лимит файлов будет превышен и перенос не выполнится.
Время загрузки образа в Docker registry составляет 30 минут.
Для работы с Distributed Train минимальная пропускная способность канала связи составляет не менее 50 Мбит/с.
Примерный расчет объема загружаемого образа при минимальной пропускной способности канала за 30 минут (в мегабайтах):
50 \(\div\) 8 \(\times\) 60 \(\times\) 30 = 11 250
Где:
50 — скорость канала в Мбит/с.
8 — Мбит (1 Мбит = 0,125 МБ).
60 — количество секунд в минуте.
30 — минуты на загрузку образа.
Для регионов размещения вычислительных ресурсов существуют ограничения на создание Jupyter Server:
Максимальное количество бесплатных Jupyter Server для одного региона — 3.
Платные можно развернуть без ограничений.
При работе с кастомными образами:
Кастомный образ можно собрать двумя способами:
На основе базового образа (рекомендуется).
В базовом образе все интеграции с Distributed Train уже настроены. Дополнительные пакеты необходимо добавить в Dockerfile FROM cr.ai.cloud.ru/aicloud-jupyter/.... Примеры Dockerfile приведены в разделе Шаг 1. Соберите кастомный образ для Jupyter Server.
На основе любого стороннего образа, веб‑сервер которого использует порт 8888.
В этом случае интеграции с платформой нужно настроить самостоятельно. Минимально необходимые элементы описаны в разделе Требования к кастомному образу.
При использовании кастомных образов:
Не гарантируется корректность приостановки Jupyter Server.
Не гарантируется стабильность и отзывчивость веб‑интерфейса Jupyter Server.
Возможно возникновение иных проблем, связанных с использованием кастомного образа.
На платформе есть ограничение на количество API-запросов управляющему серверу в день. Эти запросы касаются:
Запуска задач обучения в регионе.
Удаления задач обучения.
Просмотра логов.
Перемещения и копирования файлов средствами функции client_lib и др.
100 в минуту, 10 000 в день
30 в минуту, 1 000 в день
Если лимит на количество запросов превышен, API возвращает код ошибки 429.