Жизненный цикл задачи обучения включает несколько последовательных статусов:
Статус | Описание |
|---|---|
«Pending» | Задача обучения создана и ожидает распределения в очередь. |
«Inqueue» | Задача обучения находится в очереди и ожидает освобождения вычислительных ресурсов для запуска. |
«Starting» | Вычислительные ресурсы выделены, выполняется скачивание образа и подготовка воркеров к запуску. |
«Running» | Задача обучения выполняется. |
«Completed» | Задача обучения успешно завершилась. |
«Failed» | Задача обучения завершилась с ошибкой. Для диагностики проверьте логи задачи. |
«Stopped» | Задача обучения остановлена пользователем или системой. |
«Preempted» | Задача обучения вытеснена более приоритетной задачей. |
«Terminated» | Задача обучения принудительно завершена. |
После запуска задача обучения получает статус «Pending», и система проверяет наличие свободных ресурсов в выбранной аллокации и очереди.
Если ресурсов недостаточно, задача переходит в статус «Inqueue» и ждет их освобождения. Порядок обработки очереди определяется системой приоритетов и вытеснения.
Когда система выделяет ресурсы, задача переходит в статус «Starting» — начинается скачивание образа и запуск воркеров.
После запуска всех воркеров статус задачи меняется на «Running», и начинается обучение модели.
При успешном завершении обучения задача переходит в статус «Completed».
Если во время обучения возникла ошибка, задача переходит в статус «Failed». Для диагностики проверьте логи задачи.
На случай сбоев или зависаний в параметрах задачи можно настроить автоматический перезапуск. При срабатывании автоперезапуска задача возвращается в статус «Pending» и проходит цикл запуска заново.
Задачу в статусах «Inqueue», «Starting» и «Running» можно остановить вручную. В этом случае она перейдет в статус «Stopped». Также система может автоматически остановить задачу — например, при срабатывании параметров мониторинга зависших задач.
При вытеснении более приоритетной задачей задача обучения переходит в статус «Preempted».
При остановке задачи несохраненные результаты обучения будут потеряны. Чтобы избежать этого, используйте чекпоинты — они сохраняются на NFS и остаются доступны после остановки задачи.
Завершенную задачу в статусе «Completed», «Failed» или «Stopped» можно перезапустить. В этом случае создается новая задача с теми же параметрами, которая начинает выполнение со статуса «Pending». Перезапуск может занять до 20 минут.