Вы можете отслеживать процесс обучения моделей в реальном времени с помощью инстансов Tensorboard, которые автоматически собирают метрики, создают наглядные визуализации и обеспечивают постоянный мониторинг экспериментов для оптимизации процесса машинного обучения.
Для создания инстанса:
На верхней панели слева нажмите
и перейдите в раздел Distributed Train → Мониторинг моделей.В правом верхнем углу нажмите Создать.
(Опционально) Укажите название инстанса в поле Название.
Поле заполняется автоматически. Вы можете ввести другое название для нового инстанса. Разрешается применять следующие символы: строчные латинские буквы от a до z, цифры от 0 до 9, дефис (–).
(Опционально) Нажмите Добавить описание и заполните поле Описание.
Выберите один из доступных регионов размещения вычислительных ресурсов.
Выберите Ресурсы.
Ориентируйтесь на цвет индикатора рядом с названием конфигурации:
Зеленый — свободных ресурсов достаточно для запуска сервера в выбранной конфигурации.
Желтый — свободных ресурсов мало для запуска серверов в этой конфигурации. Если планируете создать несколько таких серверов, ресурсов может не хватить.
Серый — свободных ресурсов не осталось. Выбрав эту конфигурацию, вы попадаете в очередь на высвобождение ресурсов. Jupyter Server будет иметь статус «Запускается».
Чтобы не ждать, выберите другой регион или конфигурацию.
Нажмите Продолжить.
Образ tensorboard-image выбирается автоматически, он включает предустановленный Tensorboard и все необходимые интеграции для сбора метрик обучения. Дополнительная настройка не требуется.
Настройте параметры профиля:
В поле Log Dir укажите директорию для сохранения логов.
(Опционально) Выберите из списка параметры запуска и укажите для них значения.
Для добавления нового параметра нажмите Добавить параметр.
Выберите тип доступа к инстансу:
Совместный — доступен для работы всем пользователям воркспейса.
Индивидуальный — доступен только пользователю, создавшему его.
(Опционально) Настройте правила автоматического выключения.
(Опционально) Подключите хранилище S3:
Включите опцию Подключение хранилищ S3.
Нажмите Выбрать бакеты.
Выберите бакет или создайте новый бакет.
(Опционально) Установите права только на чтение данных, если требуется ограничить права на запись данных.
Нажмите Выбрать.
Выберите способ аутентификации: Сервисный или Секрет. Способы различаются учетными данными, которые будут использоваться при аутентификации пользователя.
Если выбран сервисный способ аутентификации, доступ к бакетам хранилища S3 осуществляется на уровне подключенного к проекту продукта Distributed Train.
Нажмите Создать.
Откроется главная страница сервиса Distributed Train. Инстанс будет создан и запущен в течение нескольких минут. Дождитесь, когда инстанс перейдет в статус «Подключен» и появится URL-адрес.
На главной странице в строке инстанса нажмите Открыть.
В результате откроется веб-интерфейс Tensorboard с доступом к мониторингу экспериментов.