Создать Jupyter Server и подключиться к нему через интерфейс Distributed Train

Шаг 1. Сконфигурируйте и создайте Jupyter Server

1. Перейдите в Environments → Jupyter Servers.

2. Нажмите Создать Jupyter Server. Откроется окно, в котором необходимо заполнить параметры сервера.

   1. В поле Название введите название нового сервера c учетом регистра. Разрешается применять следующие символы: строчные латинские буквы от a до z, цифры от 0 до 9, дефис (–).

   2. (Опционально) Нажмите Добавить описание и заполните поле Описание.

   3. Выберите Тип задачи:

      • Обучение моделей на GPU. Обучение моделей на фреймворках PyTorch, TensorFlow на GPU.

        Обучение на GPU запускается путем отправки задач в регион. При этом оплачивается фактическое время исполнения задачи: от старта до окончания обучения. При обучении из Jupyter Server на выделенных GPU взимается оплата с момента создания Jupyter Server до удаления, даже если он не используется.

      • Управление распределенными задачами. Запуск и мониторинг распределенных GPU-задач.

        Примечание

        • Бесплатные Jupyter Server создаются с этим типом задач.

        • При работе с архивами, содержащими более 10 000 файлов размером менее 1 МБ, время распаковки на конфигурации Управление распределенными задачами будет значительно выше, чем на конфигурации с выделенными GPU и hardware CPU. Подробнее о других особенностях.

      • Обучение моделей на CPU. Подготовка данных, обучение моделей на классическом стеке Data Science.

3. Установите требуемую конфигурацию Jupyter Server.

   Для использования другой конфигурации создайте Jupyter Server повторно.

   1. Выберите один из доступных регионов размещения ресурсов и задайте параметры нового Jupyter Server. Список регионов размещения ресурсов.

      Примечание

      После создания изменить конфигурацию вычислительных ресурсов не получится. Вы можете создать Jupyter Server с новой конфигурацией заново.

   2. Выберите Ресурсы для задачи.

   Ориентируйтесь на цвет индикатора рядом с названием конфигурации:

   • Зеленый — свободных ресурсов достаточно для запуска сервера в выбранной конфигурации.

   • Желтый — свободных ресурсов мало для запуска серверов в этой конфигурации. Если планируете создать несколько таких серверов, ресурсов может не хватить.

   • Серый — свободных ресурсов не осталось. Выбрав эту конфигурацию, вы попадаете в очередь на высвобождение ресурсов. Jupyter Server будет иметь статус «Запускается».

     Чтобы не ждать, выберите другой регион или конфигурацию.

4. Выберите образ.

   1. Нажмите Выбрать образ:

      • DataHub — базовые образы Distributed Train;

      • Docker registry — кастомные образы, загруженные пользователем в Docker registry.

        Названия образов в форме выбора приведены без адреса репозитория образа.

        Для образов может быть приведено описание, а также сведения об установленных в образе фреймворках.

        Перейдите в одну из вкладок и выберите Docker-образ и тег. В рамках выбранного образа запустится Jupyter Server.

      ---

      DataHub

      Docker registry

      Один из базовых образов.

      Набор образов зависит от региона, выбранного на шаге а.

      Рекомендуем использовать для работы образ jupyter-server версии 0.0.96 и выше, так как в нем уже предварительно установлена conda.

      См.также

      • Образы для Jupyter Server

      • Работа с conda-окружениями

   2. Нажмите Выбрать.

5. Нажмите Продолжить и выберите настройки для сервера.

   1. Укажите тип доступа:

      • Совместный — доступен всем участникам воркспейса;

      • Индивидуальный — доступен только пользователю, создавшему Jupyter Server.

      Примечание

      • Тип доступа задается при создании Jupyter Server, изменить его нельзя.

      • Обновите воркспейс или создайте новый, если индивидуальные Jupyter Servers недоступны.

   2. (Опционально) Настройте автоматическое выключение.

   3. (Опционально) Подключите хранилища S3.

6. Нажмите Создать Jupyter Server и дождитесь инициализации сервера. Как только она завершится, статус Jupyter Server изменится с «Запускается» на «Подключен».

   Примечание

   • Запуск Jupyter Server, находящегося в очереди в статусе «Запускается», может произойти в том числе и ночью. При этом тарификация начнется с момента запуска.

   • Когда становятся доступными логи Jupyter Server?

Шаг 2. Подключитесь к Jupyter Server

Шаг 3. Начните работу в Jupyter Server

1. Создайте Jupyter Server или подключитесь к уже существующему.

2. Выберите New Launcher, нажав +.

3. Создайте окружение.

4. Запустите необходимый инструмент.

Инструменты, общие для всех образов

---

Терминал

MLflow

TensorBoard

В Jupyter и JupyterLab можно использовать терминал. Он работает как стандартная Linux-консоль с интерпретатором bash. В командной строке терминала можно исполнять привычные Linux-команды, такие, как ls, wget, git, pip list, pip install --user и др.

---

JupyterLab

Jupyter

В интерфейсе JupyterLab нажмите +, затем Terminal.

Откроется терминал.

Что дальше