Создать Jupyter Server и подключиться к нему через интерфейс ML Space

Шаг 1. Сконфигурируйте и создайте Jupyter Server

1. Перейдите в Environments → Jupyter Servers.

2. Нажмите Создать Jupyter Server. Откроется окно, в котором необходимо заполнить параметры сервера.

   1. В поле Название введите название нового сервера c учетом регистра. Разрешается применять следующие символы: строчные латинские буквы от a до z, цифры от 0 до 9, дефис (–).

   2. Выберите Тип задачи:

      • Обучение моделей на GPU. Обучение моделей на фреймворках PyTorch, TensorFlow на GPU.

        Обучение на GPU запускается путем отправки задач в регион. При этом оплачивается фактическое время исполнения задачи: от старта до окончания обучения. При обучении из Jupyter Server на выделенных GPU взимается оплата с момента создания Jupyter Server до удаления, даже если он не используется.

      • Управление распределенными задачами. Запуск и мониторинг распределенных GPU-задач.

        Примечание

        • Бесплатные Jupyter Server создаются с этим типом задач.

        • При работе с архивами, содержащими более 10 000 файлов размером менее 1 МБ, время распаковки на конфигурации Управление распределенными задачами будет значительно выше, чем на конфигурации с выделенными GPU и hardware CPU. Подробнее о других особенностях.

      • Обучение моделей на CPU. Подготовка данных, обучение моделей на классическом стеке Data Science.

      • Препроцессинг и Big Data. Обработка больших данных на кластерах Spark с помощью CPU.

3. Установите требуемую конфигурацию Jupyter Server и создайте его.

   После запуска Jupyter Server изменить конфигурацию вычислительных ресурсов не получится.

   Для использования другой конфигурации создайте Jupyter Server повторно.

   ---

   Jupyter Server

   Jupyter Server с образом Spark

   1. Выберите один из доступных регионов размещения ресурсов и задайте параметры нового Jupyter Server. Список регионов размещения ресурсов.

      Примечание

      После создания изменить конфигурацию вычислительных ресурсов не получится. Вы можете создать Jupyter Server с новой конфигурацией заново.

   2. Выберите Ресурсы для задачи.

      Ориентируйтесь на цвет индикатора рядом с названием конфигурации:

      • Зеленый — свободных ресурсов достаточно для запуска сервера в выбранной конфигурации.

      • Желтый — свободных ресурсов мало для запуска серверов в этой конфигурации. Если планируете создать несколько таких серверов, ресурсов может не хватить.

      • Серый — свободных ресурсов не осталось. Выбрав эту конфигурацию, вы попадаете в очередь на высвобождение ресурсов. Jupyter Server будет иметь статус «Запускается».

        Чтобы не ждать, выберите другой регион или конфигурацию.

   3. Нажмите Выбрать образ:

      • DataHub — базовые образы платформы ML Space;

      • Docker registry — кастомные образы, загруженные пользователем в Docker registry.

      Названия образов в форме выбора приведены без адреса репозитория образа.

      Для образов может быть приведено описание, а также сведения об установленных в образе фреймворках.

      Перейдите в одну из вкладок и выберите Docker-образ и тег. В рамках выбранного образа запустится Jupyter Server.

      ---

      DataHub

      Docker registry

      Один из базовых образов.

      Набор образов зависит от региона, выбранного на шаге а.

      Рекомендуем использовать для работы образ jupyter-server версии 0.0.96 и выше, так как в нем уже предварительно установлена conda.

      См.также

      • Образы для Jupyter Server

      • Работа с conda-окружениями

   4. Нажмите Выбрать.

4. Выберите настройки для сервера.

   1. Укажите тип доступа:

      • Совместный — доступен всем участникам воркспейса;

      • Индивидуальный — доступен только пользователю, создавшему Jupyter Server.

      Примечание

      • Тип доступа задается при создании Jupyter Server, изменить его нельзя.

      • Обновите воркспейс или создайте новый, если индивидуальные Jupyter Servers недоступны.

   2. (Опционально) Задайте Автоматическое выключение. Оно аналогично остановке сервера.

      Выбрать расписание можно сразу или позже. Уведомления приходят за 1 час и за 15 минут до выключения сервера.

      Автовыключение можно приостановить и включить снова.

      Примечание

      Что происходит при остановке Jupyter Server?

   3. (Опционально) Подключите хранилища S3.

5. Нажмите Создать Jupyter Server и дождитесь инициализации сервера. Как только она завершится, статус Jupyter Server изменится с «Запускается» на «Подключен».

   Примечание

   • Запуск Jupyter Server, находящегося в очереди в статусе «Запускается», может произойти в том числе и ночью. При этом тарификация начнется с момента запуска.

   • Когда становятся доступными логи Jupyter Server?

Шаг 2. Подключитесь к Jupyter Server

Шаг 3. Начните работу в Jupyter Server

1. Создайте Jupyter Server или подключитесь к уже существующему.

2. Выберите New Launcher, нажав +.

3. Создайте окружение.

4. Запустите необходимый инструмент.

Инструменты, общие для всех образов

---

Терминал

MLflow

TensorBoard

В Jupyter и JupyterLab можно использовать терминал. Он работает как стандартная Linux-консоль с интерпретатором bash. В командной строке терминала можно исполнять привычные Linux-команды, такие, как ls, wget, git, pip list, pip install --user и др.

---

JupyterLab

Jupyter

В интерфейсе JupyterLab нажмите +, затем Terminal.

Откроется терминал.

Что дальше