Провести эксперимент

Сервис предусматривает управление экспериментами с помощью утилиты MLflow. Она позволяет фиксировать и сравнивать запуски обучения моделей с разными параметрами, а также сохранять и сравнивать результаты обучения и выходные метрики.

Сохранить эксперимент в MLflow

Чтобы использовать MLflow, код обучения модели в точке входа скрипта (if __name__ == "__main__") необходимо обернуть в конструкцию:

with mlflow.start_run():

Затем настроить логируемые в MLflow параметры, метрики и модель. См. подробнее в примере на Github.

mlflow.log_param(..)
mlflow.log_metric(..)
mlflow.sklearn.log_model(..)

Все эксперименты и артефакты, созданные утилитой и моделью, можно найти в интерфейсе утилиты.

Важно

Не рекомендуется удалять файлы в каталоге mlflow. Удаление может вызывать проблемы при запуске MLflow.

Подключиться к MLflow

Способ 1

  1. Перейдите в Environments → Jupyter Servers.

  2. Создайте или подключитесь к уже существующему Jupyter Notebook.

  3. В окне Jupyter Servers выберите Jupyter → New → MLflow. Утилита откроется в новой вкладке.

Способ 2

Чтобы этот способ сработал, должен быть создан хотя бы один Jupyter Server (см. Создать Jupyter Server).

Перейдите на вкладку Environments → Эксперименты. Обратите внимание, что если создано нескольких Jupyter Server, то, когда вы переходите на указанную вкладку, утилита открывается на ресурсах первого по списку Jupyter Server.

Важно

  • Запуск MLflow может занимать до 60 секунд.

  • Экземпляр MLflow работает на тех же ресурсах, что и Jupyter Server. MLflow перестанет отображаться в разделе Эксперименты, если удалить все Jupyter Server.

  • Не рекомендуется обновлять MLflow.

  • Если вы обновили MLflow, и обновление произошло некорректно, необходимо:

    1. Удалить каталог /home/jovyan/.local командой:

      rm -r .local

    2. Заново создать Jupyter Server.