2026
Июнь
- Управление единым SSH-ключом
- Управление пользователями воркспейса
добавление и удаление пользователей;
изменение ролей.
- Улучшена работа SSH
- Новые метрики мониторинга
- Jupyter Server с мультидоступом
- Обновление образа jupyter-server
Реализована настройка ресурсов на основе данных cgroup Pod, что обеспечивает корректное отображение доступных ресурсов и лимиты для ML-библиотек. Это предотвращает перегрузку системы при запуске вычислений.
Интегрирована поддержка работы с терминалом terminal multiplexer (tmux). Он позволяет:
Сохранять сессии, даже если вы закроете вкладку браузера или прервется подключение к интернету — запущенные процессы не остановятся.
Открывать несколько панелей внутри одной сессии для одновременного мониторинга логов, запуска скриптов и работы с файлами.
- Информация о хранилищах при создании Jupyter Server
- Поддержка мультидиректорий в TensorBoard
- Мониторинг серверов в аллокациях
- Проверка параметров при запуске задачи
размер задачи относительно доступных ресурсов в аллокации;
существование аллокации, очереди и инстанс-типа.
- Отображение очереди запуска
- Массовая привязка воркспейсов к очереди
- Изменение названия и описания очереди
- Удаление очереди
Изменился способ работы с SSH-ключом — пользователям нужно самостоятельно генерировать SSH-ключ или загружать его на странице параметров разработчика. Автоматическая генерация при первом подключении не производится. Текущие ключи продолжают работать. При загрузке нового ключа предыдущие становятся неактивными.
На вкладке Пользователи доступны:
Проведены внутренние оптимизации, которые улучшают стабильность и производительность SSH-соединений.
Добавлены метрики mls_DCGM_FI_PROF_SM_ACTIVE и mls_DCGM_FI_PROF_SM_OCCUPANCY для мониторинга загрузки и эффективности GPU.
Появилась возможность создавать и работать в Jupyter Server с мультидоступом в версии воркспейса v3 на основе образа jupyter-multiuser. Каждый пользователь работает в изолированном окружении со своей домашней директорией. Владелец Jupyter Server может управлять списком пользователей на вкладке Пользователи.
В новой версии 0.0.101:
При создании Jupyter Server отображаются доступные сетевые и системные хранилища с указанием типа доступа.
Добавлена возможность использовать несколько директорий с логами для визуализации в TensorBoard. Указать директории можно как при создании инстанса, так и во время работы.
Добавлено отображение статуса серверов в разделах аллокаций и очередей. Доступны статусы «Свободен», «Частично занят», «Занят» и «Недоступен». При неисправности сервер изолируется, а задачи автоматически перераспределяются на другие серверы.
Перед запуском задачи система проверяет корректность указанных параметров. При наличии ошибок отображается информативное сообщение с описанием проблемы.
Проверяются:
Для очередей добавлено отображение задач и Jupyter Server, которые ожидают запуска, в соответствии с приоритетами.
При создании очереди можно привязать сразу несколько воркспейсов.
Добавлена возможность редактировать параметры очереди: название и описание. Изменения можно внести через интерфейс Distributed Train или через Public API.
Добавлена возможность удалить очередь через интерфейс Distributed Train или Public API. Перед удалением необходимо убедиться, что очередь не установлена очередью по умолчанию, в ней нет серверов и активной нагрузки.
Май
- Обновление страницы воркспейса
Добавлена вкладка Детали, на которой размещена информация о воркспейсе и параметры разработчика.
Добавлена вкладка Пользователи для просмотра списка участников воркспейса и их ролей.
Вкладки Правила, Аллокации и очереди и Мониторинг недоступны при отсутствии соответствующих ролей.
В основной таблице Воркспейсы реализован переход к воркспейсу по названию и отображение количества пользователей ссылкой на вкладку Пользователи.
- Новый метод в Public API
- Обеспечение актуальности пользовательских образов
- Обновление образа tensorboard-image
Добавлена поддержка режима multi experiments для одновременной работы с несколькими запусками.
Реализован выбор директорий с логами обучения без перезапуска инстанса.
Доступно сравнение наборов экспериментов из разных директорий.
- Управление TensorBoard
- Управление Jupyter Server через CLI
- Новый образ Marimo-hub 0.1.0
- Оптимизация работы с ресурсами CPU
На странице воркспейса обновлен дизайн и структура навигации:
Добавили метод Get Job Params для просмотра параметров запущенной задачи.
Реализовали проверку по тегу (digest) при работе с пользовательскими образами на серверах. Это гарантирует запуск задач на актуальной версии образа, исключая использование устаревшего содержимого с тем же тегом. Автоматически обновляется кеш, что предотвращает ошибки доступа к старым версиям файлов.
В новой версии 1.0.0:
Реализована возможность работы с TensorBoard через Distributed Train CLI и Public API.
Реализована возможность работы с Jupyter Server через команды Distributed Train CLI. Управление доступно из консоли, что расширяет возможности автоматизации.
Доступен новый образ cr.ai.cloud.ru/aicloud-jupyter/marimo-hub:0.1.0. Образ предоставляет доступ к инструменту Marimo для разработки и выполнения кода. Интерфейс позволяет разбивать код на ячейки, аналогично Jupyter Server. Отличием является формирование единым деревом зависимостей вместо линейного порядка выполнения. При изменении значения в одной ячейке автоматически обновляются все зависимые ячейки.
В регионах SR004 и SR005 внедрена виртуальная файловая система lxcfs для корректного отображения лимитов. Это повышает быстродействие терминала при высокой нагрузке и предотвращает ошибки из-за некорректного определения ресурсов.
Апрель
- Улучшенная навигация между воркспейсами
- Управление правилами переноса
просмотр пользовательских правил переноса и истории выполненных переносов;
управление пользовательскими правилами переноса.
остановка активных пользовательских переносов;
остановка периодических правил переноса;
клонирование правил;
просмотр статусов и логов выполненных переносов;
удаление правил и истории переносов.
- Фильтрация списка и истории правил переноса
тип коннектора-источника;
коннектор‑источник;
тип коннектора-назначения;
коннектор‑назначение;
правило;
создатель правила.
Добавлено отображение воркспейса, в котором находится пользователь. Для перехода между воркспейсами можно нажать на название текущего воркспейса и выбрать другой воркспейс из выпадающего списка. Из таблиц удалены фильтры-переключатели для перехода между воркспейсами.
Администратору воркспейса доступны:
Доступны следующие действия:
Редактирование и возобновление пользовательских правил недоступны.
Добавлены фильтры для быстрого отбора правил:
Март
- Настройка правил наименования воркспейсов
- Интеграция с Менеджером ресурсов
- Новые события в аудит-логах
Создание воркспейса.
Изменение воркспейса.
Удаление воркспейса.
Обновление статуса Jupyter Server.
Обновление статуса задачи обучения.
- Обновление базовых образов для задач обучения
- Обновление шаблона PyTorch2
- Расширение метрик мониторинга
created_by — email пользователя, создавшего ресурс.
instance_type — тип вычислительного ресурса.
node — название узла кластера, на котором запущен под или контейнер.
mls_allocation_size — отражает целевое количество узлов в аллокации.
mls_node_resource_limits — показывает лимиты ресурсов на узле с разбивкой по типам: cpu, memory, nvidia_com_gpu, и указанием единиц измерения.
Появилась возможность задавать правила наименования для новых воркспейсов. Можно указать префиксы и рекомендации по формату названия, которые будут автоматически применяться при создании новых воркспейсов.
При редактировании существующих воркспейсов система отображает напоминание о заданных правилах, помогая соблюдать единообразие в наименованиях.
Для воркспейсов, задач обучения и Jupyter Server добавлена возможность управлять доступными ресурсами через сервис «Менеджер ресурсов». Администратор проекта может просматривать информацию о воркспейсах и ресурсах, запущенных внутри них.
Доступны сведения об изменениях, внесенных в каждый объект, включая аудит-логи операций.
Добавлена фиксация операций с воркспейсами, Jupyter Server и задачами обучения в аудит-логах.
Добавлены новые версии базовых образов с поддержкой актуальных версий PyTorch и CUDA.
Доступны образы с PyTorch 2.9.0, 2.8.0 и 2.7.0 для Python 3.12 и 3.11.
В шаблоне PyTorch2 модуль torch.distributed.launch обновлен на актуальный torch.distributed.run.
Обновление обеспечивает корректную работу задач обучения в разных регионах.
Добавлены метрики и лейблы для детального отслеживания ресурсов в задачах обучения и Jupyter Server.
Новые лейблы:
Новые метрики:
Февраль
- Метрики сетевой активности
mls_container_network_transmit_bytes_total — суммарный объем данных в байтах, переданных контейнером по сети.
mls_container_network_receive_bytes_total — суммарный объем данных в байтах, полученных контейнером по сети.
- Мониторинг моделей с TensorBoards
Cоздавать инстанс TensorBoard, данные для которого автоматически считываются из указанного бакета.
Визуализировать метрики обучения в реальном времени.
Запускать инстанс TensorBoard без необходимости подключаться к Jupyter Server.
Добавлены метрики для отслеживания сетевой активности в задачах обучения и Jupyter Server.
В разделе мониторинга моделей появилась возможность создавать инстансы TensorBoard для отслеживания обучения моделей.
Вы можете:
Январь
- Создание правила переноса для сетевых хранилищ
- Управление квотами в сетевых хранилищах
- Обновление образа jupyter-server
- Информация о перезапуске Jupyter Server
- Обновленный виджет отображения ресурсов в аллокациях
общее количество ресурсов в аллокации;
количество доступных ресурсов для использования;
количество используемых ресурсов в данный момент;
процент занятого ресурса от общего объема.
Можно перенести данные в сетевое хранилище или из него.
Администратор проекта может изменить квоту NFS в сетевом хранилище.
В новой версии 0.0.100 управление прокси-серверами вынесено в отдельный раздел Proxy Services. Из этого раздела можно создавать, просматривать информацию, редактировать и удалять прокси-сервер.
Если запущен Jupyter Server и требуется его перезапуск, в интерфейсе появляется уведомление. При наведении на иконку отображается установленное время перезагрузки. Вы можете перезапустить сервер вручную в удобный момент, чтобы избежать потери несохраненных данных.
Для каждого типа ресурсов виджет отображает детальную статистику:
2025
Ноябрь
- Название точки монтирования
- Аудитные логи сетевого хранилища
- Информация о Jupyter Server в новой вкладке
- Создание воркспейсов администратором в пустом проекте
- Обновление базовых образов
- Проверка образа перед запуском задачи обучения
- Запрет на создание и подключение Jupyter Servers в воркспейсе
- Новые метрики мониторинга Jupyter Servers
HTTP-запросы (общее) — счетчик HTTP-запросов к Jupyter Server.
HTTP-запросы (kernels, sessions) — счетчик HTTP-запросов к Jupyter Server в разделы kernels и sessions окружения JupyterLab.
Активные сессии SSH — текущее количество активных SSH-сессий в Jupyter Server.
- Подключение хранилища S3 в Jupyter Server доступно во всех регионах
Путь монтирования можно задать при создании сетевого хранилища.
Отслеживаются события для сетевых хранилищ.
Если в списке Jupyter Servers нажать на название сервера правой кнопкой мыши Открыть в новой вкладке, откроется детальная информация о нем.
Если в проекте нет воркспейсов, администратор может создать новый воркспейс по кнопке, без обращения в поддержку.
В базовых образах версия NCCL обновлена до 2.26.2 и выше.
Система проверяет образ, переданный в параметре base_image перед запуском задачи. Это выявляет ошибки в образе до перехода задачи в статус «Running» и предупреждает зависание.
Администратор воркспейса или проекта может запретить создание и запуск Jupyter Servers из воркспейса.
Для мониторинга работы Jupyter Server добавлены новые метрики и виджеты в системные дашборды:
Jupyter Servers, расположенные в любых регионах, поддерживают подключение хранилища S3 для работы с данными напрямую из объектного хранилища. Подключение доступно как при создании Jupyter Server, так и для уже существующих экземпляров.
Подробнее о подключении и управлении хранилищем S3 в Jupyter Server
Октябрь
- Новый метод удаления воркспейса в Public API
- Уведомления о действиях с воркспейсами
запросе пользователем доступа к воркспейсу;
начале удаления воркспейса в процессе дебутстрапа.
- Выбор администратора при создании воркспейса
- Удаление воркспейса
- Удаление пользователей воркспейса
- Запрос доступа к воркспейсу
- Расширены возможности Public API по получению аллокаций
В ответ метода Get Allocation List добавлены:
ID проекта;
название проекта;
список воркспейсов, входящих в аллокацию.
Добавлен новый метод Get Allocation для получения детальной информации об отдельной аллокации, включая:
ID и название проекта;
список воркспейсов, входящих в аллокацию;
информацию о ресурсах и нодах.
- Зеркало SDK в GitHub и пакет в PyPI
Добавлен метод Debootstrap Workspace V3, который позволяет инициировать удаление воркспейса с возможностью указать время начала процедуры.
Администраторы получают уведомления в интерфейсе консоли и на электронную почту при:
На странице создания воркспейса добавлена возможность выбора администратора.
Удалить воркспейс может только администратор проекта в личном кабинете. Это предотвращает случайные потери данных и упрощает контроль за удалением.
При удалении пользователя из воркспейса система проверяет, остается ли в нем хотя бы один администратор. Если администратор отсутствует, автоматически назначается последний из добавленных администраторов проекта в личном кабинете. Это гарантирует, что воркспейс всегда остается управляемым.
При отправке запроса на доступ к воркспейсу можно выбрать сразу несколько воркспейсов. Также доступен просмотр списка администраторов каждого воркспейса.
SDK для взаимодействия с сервисом доступен в публичном репозитории на GitHub и как пакет в PyPI. Это упрощает интеграцию, позволяет устанавливать SDK через pip без дополнительных шагов.
Сентябрь
- Подключение по SSH к задаче обучения
- Образы для задач обучения из Artifact Registry
- Отображение автора задачи
- Метрики и дашборды мониторинга для NFS
- Сетевые хранилища для совместной работы
- Автовыключение Jupyter Server по времени
- Копирование правил и обновление настройки автовыключения Jupyter Server
Теперь к запущенной задаче обучения можно подключиться по SSH напрямую.
Для создания задач обучения можно выбрать образ из реестров Artifact Registry с публичным и приватным типом доступа.
Для задач, которые запускаются через публичный API или Distributed Train CLI, сохраняется email автора: он доступен в разделе Задачи и окружения, а также на странице задач в разделе аллокаций.
Для NFS-хранилищ доступно отслеживание метрик мониторинга и системный дашборд.
Теперь можно создать сетевое хранилище и работать с одними данными из разных воркспейсов проекта.
Добавлена возможность автовыключения через указанное количество часов.
Для администратора воркспейса добавлена возможность настроить автовыключение для всех Jupyter Server в воркспейсе по времени и по расписанию. Для быстрой настройки правил теперь можно скопировать и применить правила из другого воркспейса.
Подробнее о настройке автовыключения Jupyter Server для администратора
Август
- Новые переменные окружения для задач обучения
- Выбор узлов кластера для задачи обучения
- Улучшения в интерфейсе воркспейсов
Включили сортировку воркспейсов по дате обновления.
Добавили фильтрацию списка воркспейсов по проектам.
В переключателях воркспейсов названия разместили в алфавитном порядке.
- Обновление образа jupyter-server
реализована интеграция с Foundation Models на уровне чата и magic-команд;
добавлена возможность передавать переменные среды при SSH-подключении к Jupyter Server.
- Выбор образа из Artifact Registry
Переменные окружения с названием воркспейса MLS_JOB_WORKSPACE_NAME и MLS_NTB_WORKSPACE_NAME можно использовать для логирования.
Вы можете настроить вычислительные ресурсы, используя параметры include_nodes и exclude_nodes в client-lib и публичном API.
Для списка воркспейсов:
Исправили отображение ролей при редактировании воркспейса.
Теперь при создании Jupyter Server вы можете выбрать образ, размещенный в Artifact Registry.
Июль
- Новые API-методы для работы с воркспейсами
- Отключение двух регионов размещения ресурсов
Доступны методы для получения списка воркспейсов у пользователя и подробной информации по конкретному воркспейсу.
Данные NFS-хранилища в регионе Christofari.V100 • DGX2-INF-001 доступны только через дополнительный File Browser /mnt/DGX2-MT.nfs1 в Jupyter Servers региона Christofari.A100 • A100-MT.
NFS-хранилище региона Cloud.Region.A100 (GPU Tesla A100) • SR002 доступно как NFS-3 в регионе Cloud.Region.HP • SR006.
Июнь
- ML Space теперь Distributed Train на платформе Evolution
- Отключение AI Marketplace и раздела с образами деплоев
- CLI-утилита: перенос данных и создание задач
- Заявка в поддержку при изменении квоты сверх лимита
- Обновление PyTorch в образах
- Возможность задать /shm для задач типа binary
- Обновление функции для создания образов задач обучения в client-lib
- Автовыключение для Jupyter Server
- Неограниченный доступ в интернет
С 27 июня 2025 г. Distributed Train объединился с платформой Cloud.ru Evolution и изменил свое название на Distributed Train. Функциональные возможности, сервисы и условия использования остаются прежними.
Вывели из эксплуатации сервис AI Marketplace и раздел образов деплоя, в том числе создание образа для деплоя.
В CLI-утилите доступны методы переноса данных (Data Transfer Service) и создания задач обучения (Jobs).
Если при попытке увеличить квоту была автоматически создана заявка в поддержку, ручное увеличение квоты недоступно из-за высокой загруженности хранилища.
Обновили PyTorch в образах для задач обучения и в образах для Jupyter Server до версии не ниже 2.6.0.
При создании задачи типа binary пользователь может выбрать одно из трех значений shm_size_class.
Вместо функции ImageBuildJob теперь доступна функция BuildImageJob. Она позволяет собрать кастомный образ из Docker registry. Ссылка на готовый образ будет доступна в ответе на запрос.
Доступна настройка автоматического выключения Jupyter Server индивидуально и на уровне воркспейса. Автовыключение можно настроить по расписанию или по нагрузке.
Для Jupyter Server реализован неограниченный доступ в интернет.
Май
- Изменение внешних IP-адресов для доступа к Cloud.ru Distributed Train
- Описание для Jupyter Server
С 17.06.2025 меняются внешние IP-адреса для доступа к ресурсам Cloud.ru Distributed Train — старые IP-адреса будут отключены. Свяжитесь с вашим отделом информационной безопасности и примените к используемым межсетевым экранам изменения, перечисленные в почтовой рассылке от 23.05.2025.
Теперь можно добавить описание для Jupyter Server и указать подробную информацию о нем.
Апрель
- Автоматическое увеличение Квоты NFS
- Поддержка Agent Forwarding в SSHPortal
- Обновления в переключении воркспейсов
Теперь при пользовательском запросе расширить квоту на объем хранилища NFS автоматически увеличивается квота на количество объектов.
В SSHPortal добавлена функция Agent Forwarding, которая переадресовывает SSH-ключи с локальной машины на SSH-хост для последующей авторизации на других хостах.
Теперь оно доступно и через фильтр в таблице воркспейсов на главном экране.
Март
- Изменение IP-адреса для публичного API
- Jupyter Server с хранилищем S3
- Обновлен образ jupyter-server
появились встроенные примеры ноутбуков, которые можно посмотреть на GitVerse или отправить на NFS;
в интерфейс Jupyter Server добавлены виджеты мониторинга (CPU, RAM, хранилище);
JupyterLab обновлен до версии 4.3.5;
при возникновении ошибки Server Connection Error в JupyterLab ноутбук автоматически пытается восстановить связь.
- Просмотр квоты на количество воркспейсов для организации
- Обновление данных о квотах NFS по кнопке
- Возможность запросить роль на воркспейс
- Массовое добавление пользователей в воркспейс
- Завершение поддержки сервисов S3
объектного хранилища Distributed Train;
сервисов DataHub, Model registry и Dataset registry.
В ближайшее время для публичного API Distributed Train будет изменен IP-адрес.
Чтобы избежать проблемы с недоступностью api.ai.cloud.ru в период обновления А-записи в глобальных DNS, добавьте новый IP-адрес 176.109.98.3 как дополнительный в white lists ваших Firewall.
Для работы с данными напрямую из хранилища S3 теперь можно подключить до трех бакетов при создании Jupyter Server или в уже созданном Jupyter Server.
В личном кабинете в разделе Администрирование → Квоты появилась информация о максимальном количестве воркспейсов на организацию для юридических лиц. Изменить квоту можно, обратившись в техническую поддержку.
Чтобы не ждать обновления данных о квотах NFS в нужном регионе по расписанию, добавлена возможность обновлять их самостоятельно в любое время.
Если при добавлении нового пользователя администратор проекта не назначил ему роль на воркспейс, пользователь может запросить доступ к нужным воркспейсам проекта. Отказались от выдачи ролей на платформу.
Теперь при редактировании воркспейса администраторы проекта и владельцы воркспейса могут добавлять сразу нескольких пользователей и назначать им права на воркспейс.
Прекратили поддержку:
Вместо S3 Distributed Train используйте другие сервисы Cloud.ru: Object Storage Service Advanced и Object Storage Evolution, вместо DataHub — Маркетплейс.
Февраль
- Самостоятельное регулирование квот NFS
- Автовыключение Jupyter Server
- Остановка Jupyter Server с кастомными образами
- Метод для просмотра доступных ресурсов
- Причины ошибки OOMkilled в логах задачи
- Управление доступом пользователей воркспейса через личный кабинет
- Обновления мониторинга аллокаций
- Устаревшие методы API Data Transfer Service
Теперь вы можете изменять квоты на объем хранилища в зависимости от утилизации в каждом регионе. Максимальное значение указано в интерфейсе.
При создании Jupyter Server появилась возможность задавать для него расписание автоматической остановки выключения.
Появилась возможность останавливать Jupyter Server с пользовательским образом в интерфейсе JupyterLab.
Добавили в client_lib метод get_available_resources_count для определения количества воркеров, на которых можно запустить задачу обучения с учетом instance_type.
Добавили в логи статус задачи и информацию для случая, когда она завершилась с ошибкой OOMkilled, и описали возможные решения.
Теперь добавить или удалить пользователей из воркспейса может только администратор проекта в личном кабинете.
Добавили возможность просматривать общее количество GPU в Jupyter Server и общее количество Jupyter Server по фильтрам в разделе Environments → Аллокации.
Отказались от устаревших API-методов и пометили их как deprecated. Стабильная работа методов не гарантируется.
Январь
- Обновления в API Data Transfer Service
- Асинхронные версии API-методов Jupyter Server
- Документация по сборке образа для задачи на основе любого образа
Теперь в методах для создания (Create Transfer) и изменения (Update Transfer) правил переноса нет параметра legacy = truе и работает новая схема логирования. Замените устаревшие методы на новые — они указаны в описаниях к методам в документации Data Transfer Service.
18 февраля методы получения логов Get Transfer Logs и Transfer Logs станут недоступны. Получать логи необходимо через метод Event Logs по новой схеме логирования. Чтобы использовать ее, обновите существующие периодические переносы и пайплайны, иначе в API response будут пустые логи или ошибки 404.
В публичный API добавлены новые асинхронные методы для удаления и остановки Jupyter Servers. Старые методы удаления и остановки остаются доступными.
Описали, как собрать Docker-образ для задачи обучения на основе любого пользовательского образа, а не только базовых образов платформы.
2024
Декабрь
- Подключение индивидуальных Jupyter Servers в старые воркспейсы
- Мониторинг Jupyter Server
- Оповещения о зависании задач обучения
- Названия воркспейсов в профиле
- Завершение поддержки сервисов S3
Объектное хранилище Distributed Train,
сервисы DataHub, Model Registry и Dataset Registry.
- Сохраните метаинформацию из Dataset Registry и Model Registry, если она необходима вам для дальнейшей работы.
- Переносы в приватные каталоги
Для использования индивидуальных Jupyter Servers в воркспейсах, созданных до 01.11.2024, обновите воркспейс.
Добавлена вкладка мониторинга в карточке Jupyter Server.
В нее также можно попасть, перейдя в Distributed Train → Jupyter Servers и нажав 
.
Автоматизировали параметр action из группы health_params в client-lib и публичном API. При зависании задача остановится или перезапустится в зависимости от того, какое значение параметра было задано.
Стали активными, и по ним можно перейти.
28 февраля 2025 года прекратим поддержку и скроем из интерфейса
Вместо S3 Distributed Train используйте другие сервисы Cloud.ru: Object Storage Service Advanced или Object Storage Evolution, вместо DataHub — Маркетплейс.
Добавлена возможность переносить данные на NFS через Data Transfer Service в пространство индивидуальных Jupyter Server — NFS Distributed Train Personal Directory.
Ноябрь
- Индивидуальные Jupyter Server
- Мониторинг утилизации ресурсов
- Обновления ролевой модели
- Мониторинг зависания задач обучения
- Обновлен образ jupyter-server
Исправлены ошибки в функциях нового файлового браузера:
CopyPath;
ShowInBrowser;
скачивание, копирование, распаковка файлов;
загрузка файлов в JupyterLab.
Улучшено автодополнение команд в терминале.
Исправлена ошибка, при которой файловый браузер относился к нескольким Jupyter Server.
В конфигурации sshd по умолчанию увеличено количество возможных соединений SSH для стабильной одновременной работы нескольких пользователей.
- Реорганизация документации
описания модулей, из которых состоит платформа, и логики работы с ней;
статьи про основные сущности и понятия платформы;
справочную информация — список образов, описание ролей, параметров, ограничений.
- Обновления в API Data Transfer Service
- Изменения схемы логирования переносов
Если работаете через API, пересоздайте необходимые правила переносов с параметром legacy = false. Замените deprecated-методы GET /public/v2/data_transfer/v1/transfers/{transfer_id}/logs, GET /public/v2/data_transfer/v2/transfer/aicloud-logs/{transfer_id} на GET /public/v2/data_transfer/v2/events/list.
Если используете UI, перейдите в Data Transfer → Правила переносов, найдите нужное правило переноса, откройте меню и нажмите Создать новую версию.
Если остаться на старой схеме логирования, в API response придут пустые логи и возникнет ошибка 404.
Индивидуальный Jupyter Server — изолированный Jupyter Server, который доступен только пользователю, создавшему его. Сейчас использовать такой сервер можно в новых воркспейсах, созданных после 1 ноября 2024.
Благодаря интеграции с сервисом клиентского мониторинга MonaaS появился мониторинг утилизации ресурсов. Это позволяет управлять загрузкой вычислительных мощностей и оптимизировать их во время работы с Jupyter Server и обучения моделей.
Теперь можно назначать пользователям роли на воркспейсы.
Появилась возможность настроить уведомления о зависании задач в Telegram или на email.
Переработали структуру, чтобы упростить дерево статей. Создали раздел Концепции сервиса Distributed Train и собрали в нем:
Начинаем отказываться от устаревших API-методов и помечаем их как deprecated. В будущем не гарантируется их стабильная работа. Просим проверить наличие deprecated-методов по документации Data Transfer Service и обновить их на новые.
18 февраля 2025 года полностью отказываемся от старой схемы логирования переносов в Data Transfer Service. Обновите существующие периодические переносы и пайплайны, в которых используется API Data Transfer Service.
Октябрь
- Готовимся к завершению поддержки хранилища S3 Distributed Train в декабре
- Отображение проектов с нулевым балансом
- Кастомные коннекторы в правилах переноса
- Проверки при запуске задач через API
- Улучшение работы с задачами обучения
- Улучшенная навигация
Ресурсы в S3 теперь доступны только для чтения. Подготовили руководство по миграции файлов из S3 Distributed Train в Object Storage Service Advanced и Object Storage Evolution.
Проекты и воркспейсы Distributed Train остаются видимыми в меню личного кабинета независимо от состояния бюджета проекта.
Перенос данных из S3 Distributed Train в сторонние S3 теперь возможен не только по API, но и через интерфейс Data Transfer Service.
Проверяем тип инстанса, на котором вы можете запустить задачу. Если нужного в регионе нет, оповещаем об этом.
Повысили стабильность задач типа pytorch_elastic и улучшили отображение статуса задач с перезапуском.
Переключать воркспейс можно из меню по одному клику, а не только из профиля.
Сентябрь
- Прекращение поддержки некоторых методов client_lib и публичного API
- Обновление образа jupyter-server
плагин jupyter-archive;
собственный плагин для работы с файловым браузером — можно добавлять браузеры для любой директории, создается браузер по умолчанию для каталогов /workspace и /home/jovyan;
плагин torch-tb-profiler;
пакет GigaChat;
переработаны права на удаление SSH-ключей.
При использовании устаревших методов или параметров client-lib и публичного API вы получите сообщение с предупреждением и альтернативными вариантами.
В новой версии 0.0.96 добавлены:
Теперь можно отключать уведомления собственного плагина в JupyterLab.
Решены проблемы с cwd при внедрении мультибраузеров и удалением ключей в SSH.
Август
- Новый образ без conda для Jupyter Server
установлены CUDA версии 12.3 и Pytorch версии 2.4.0;
переработаны права на удаление SSH-ключей;
добавлен tmux.
- Новые примеры запуска задач в документации
- Новый канал уведомлений об исчерпании лимитов NFS
- Бакеты S3 Evolution в правилах переноса
- Новые образы 0.0.40 для задач обучения
Образ jupyter-cuda12.3-pt2.4.0:0.0.95 позволяет работать без conda. В нем:
Обновили примеры запуска задач обучения на GitHub — добавили фреймворки Hugging Face, PyTorch Elastic Learning и PyTorch Lightning.
Подключите уведомления на email о том, что использовано 80%, 90%, 98% и 100% от лимита на объем или количество файлов.
Вы можете указать бакет S3 Evolution в качестве источника или места назначения при создании правил переноса.
В образах py3.10-torch2.3.0, py3.11-torch2.3.0, py3.11-torch2.4.0 обновлены версии Python и PyTorch.
Июль
- Просмотр имени пользователя, создавшего Jupyter Server
- Новый раздел в документации: решение проблем при работе с Distributed Train
- Уведомления об исчерпании inodes и объема хранилища NFS
- Больше ресурсов в некоторых конфигурациях instance_type
В интерфейсе Distributed Train при работе с Jupyter Server отображается имя пользователя, создавшего его.
В разделе собрали типовые ошибки и описали способы их решения.
По умолчанию подключенные уведомления приходят только в личный кабинет. Чтобы быстрее реагировать на исчерпание места, подключите уведомления в Telegram.
Уведомления приходят, когда использовано 80%, 90%, 98% и 100% от лимита на объем или количество файлов.
В регионах Cloud.Region.HP1 • SR003 и Cloud.Region.HP • SR006 добавили instance_type, позволяющие использовать до 1,5 ТБ RAM.
Июнь
- Запуск Jupyter Server на CPU
Использовать вычисления на CPU в Jupyter Server. Такие Jupyter Server могут быть использованы для обработки данных, обучения моделей, запуска Tensorboard и ботов.
Использовать Jupyter Server на CPU, если у вас закончились бесплатные Jupyter Server.
- Новые статусы задач обучения
«Inqueue» — задача находится в очереди на запуск;
«Starting» — ресурсы аллоцированы, скачивается образ, и запускаются воркеры.
- Индикатор загруженности ресурсов задачами обучения в аллокации
занятость ресурсов аллокации задачами обучения и Jupyter Server;
общий перечень выполняемых задач в аллокации;
свободные ресурсы аллокации.
- Унификация названий регионов в интерфейсе
Теперь вы можете создавать Jupyter Server на CPU в регионах Cloud.Region.HP • SR006 (SR006), Christofari.A100.part2 • SR004 (A100-MT) от 8 vCPU и выше. Это позволит:
В раздел Задачи и окружения выведены дополнительные статусы задачи:
В разделе Задачи и окружения добавили возможность просматривать:
К названиям регионов в интерфейсе Distributed Train добавлены ключи регионов (cluster-key).
Май
- Логи ноутбуков, переносов данных и задач обучения в разделе Аудит-логирование
- Уведомления в колокольчике вне зависимости от платформы
- Новый параметр internet в client_lib
- Обновление образа jupyter-server
убрали фантомные уведомления;
повысили стабильность работы Tensorboard;
оптимизировали авторизацию в Jupyter Server;
улучшили отзывчивость и скорость работы интерфейса Jupyter Server.
обновили версию mlspace-sdk до 0.23.2:
добавили возможность обновления client_lib независимо от версии Jupyter Server;
обновили механику подключения по SSH через CLI в задачах обучения;
поправили отображение версии CUDA и Python в CLI.
Чтобы посмотреть логи событий Distributed Train, необходимо выбрать в качестве сервиса-источника MLS-NTB (Jupyter Servers), MLS Data Transfer и MLSpace.Jobs. Список статусов приведен в Справочнике событий.
Уведомления от Distributed Train появятся в колокольчике, даже если вы находитесь на другой платформе Cloud.ru.
Использование параметра internet дает возможность доступа в интернет из задач обучения в регионах, где такая возможность прежде отсутствовала.
До 04.07.2024, если новый параметр internet не будет указан, то действие параметров forbid_internet и forbid_s3 при запуске задач обучения сохранится прежним.
После 04.07.2024 параметры forbid_internet и forbid_s3 будут отключены. Вместо них используйте параметр internet.
В новой версии 0.0.95:
Апрель
- Отключение полного лога для новых правил переноса
- Универсальные образы для задач обучения, совместимые со всеми регионами
При создании правил переноса доступна единственная схема логирования. В ней события одного типа удобно группируются в одну запись, которая содержит общее количество объектов и путь до последнего из них.
В образах py3.10-torch2.1.2:0.0.40 и py3.10-torch2.2.2:0.0.40 нет привязки к установленной версии CUDA. Это позволяет использовать образы для задач обучения в любом регионе.
Март
- Перезапуск задачи из интерфейса
- Быстрый способ сообщить об ошибке с задачей
- Публичные коннекторы
- Обучающие материалы по Distributed Data Parallel (DDP) в PyTorch
- Обновление образа jupyter-server
вернули плагин Tensorboard;
обновили версию Jupyter Notebook до 7;
поправили проблемы использования переменных окружения при использовании SSH подключения к Jupyter Notebook;
обновили версию mlspace-sdk до 0.22.2;
добавили возможность использования SSH в задачах обучения;
поработали над компактностью, теперь образ весит 1,4 ГБ.
Задачу обучения можно перезапустить вручную через интерфейс. Будет создана новая наследуемая задача с теми же параметрами, что и у родительской.
Создать заявку в техническую поддержку теперь можно из списка задач.
Как быстро сообщить о проблеме с задачей обучения в техническую поддержку?
Сделать коннектор публичным, то есть доступным всем пользователям воркспейса, можно при создании через интерфейс платформы или с помощью публичного API v3.
Опубликованы теоретические и практические материалы по использованию DDP в обучении моделей.
В новой версии 0.0.94:
Февраль
- Обучающие материалы по большим языковым моделям (LLM)
- Новый регион Cloud.Region.HP • SR006
- Новый образ jupyter-server:0.0.92
Опубликованы теоретические и практические материалы по обучению больших языковых моделей.
Для запуска задач обучения в этом регионе используйте образы версии 0.0.37 и тип 'pytorch2'.
В образе версии 0.0.92 повышены стабильность, скорость работы и удобство использования.
Январь
- Обновления для логов задач обучения
Для задач обучения с заданным количеством запусков теперь можно скачать логи отдельно по каждому запуску.
Сообщения в логах об изменении статусов воркеров стали более читаемыми.
- Обновление публичных SSH-ключей Jupyter Server для повышения безопасности
Необходимо обновить публичные SSH-ключи на локальных машинах.
2023
Декабрь
- Информация о запусках задачи
- Переход на домен *.cloud.ru
- Обновления в форме выбора образа при создании Jupyter Server
В разделе Задачи и окружения можно узнать фактическое и максимально возможное количество запусков для каждой задачи обучения.
С 12.12.2023 изменятся URL-адреса для доступа к Jupyter Servers, docker-образам, SSH, GitLab и public API. Переведите на новый домен технические решения, в которых используются эти ресурсы.
В интерфейсе отображается больше информации об образе: доступность в регионах, дата загрузки, версии установленных Python, CUDA, Tensorflow. Появилась возможность выбрать версию образа и найти нужный образ по названию.
Ноябрь
- Лимит на количество файлов в NFS
- Новый параметр legacy в пайплайнах
- Новые образы, в которых установлены новая версия CUDA и Python
- Новый образ jupyter-server, в который можно установить требуемые версии Python и CUDA
Узнать лимит на количество файлов в хранилище NFS теперь можно на главной странице или из раздела Воркспейсы.
Через параметр legacy вы можете задать схему логирования при создании правила переноса в пайплайнах.
Образы для задач обучения с тегом 0.0.36, в которых установлены версии CUDA до 12.1, Python до 3.11, Torch до 2.0.
В образ cr.ai.cloud.ru/aicloud-jupyter/jupyter-server версии 0.0.90 и выше можно установить требуемые версии CUDA и Python.
Октябрь
- Мониторинг зависших задач в client_lib и API
- При указании несуществующего образа задача не запустится через client_lib или API
- Обновления в логах переносов
С помощью health_params в client_lib и в API можно отслеживать зависшие задачи обучения и задавать, какие действия выполнять в случае зависания.
Если запустить задачу с несуществующим образом через client_lib или API, это вызовет ошибку. Задача не будет отправлена на выполнение в регион и не займет ресурсы.
Вы можете выбрать корректный образ из списка образов для задач обучения, а также создать или загрузить собственный кастомный образ.
Появилась новая схема логирования. В ней события одного типа группируются в одну запись, которая содержит количество объектов и путь до последнего.
Сентябрь
- Новый параметр checkpoints_dir в client_lib
- Индикация загруженности типа конфигурации при создании Jupyter Server
Использование параметра checkpoints_dir упрощает сохранение промежуточных результатов обучения модели, если в задаче обучения возникли технические ошибки.
При создании Jupyter Server рядом с названием конфигурации отображается цветовая индикация, которая показывает загруженность ресурсов.
Июль
- Расширенный статус подов деплоя
Добавили в карточку деплоя новую вкладку с информацией о последних 200 экземплярах деплоя, включая статус и тарифицируемое время.