- tocdepth
2
Создать Jupyter Server
Jupyter Server позволяет создавать Jupyter Notebook, чтобы работать над кодом для обучения моделей. Отличие Jupyter Notebooks от традиционной среды разработки в том, что код можно разбить на ячейки и выполнять их в произвольном порядке.
Для создания Jupyter Server выполните следующие действия.
Перейдите в
Нажмите Создать Jupyter Server. Откроется окно, в котором необходимо заполнить параметры сервера.
В поле Название введите название нового сервера c учетом регистра. Разрешается применять следующие символы: строчные латинские буквы от a до z, цифры от 0 до 9, дефис (–).
Выберите Тип задачи. Доступны:
Обучение моделей на GPU. Обучение нейросетей на фреймворках PyTorch, TensorFlow на GPU.
Обучение на GPU запускается путем отправки задач в регион. При этом оплачивается фактическое время исполнения задачи: от старта до окончания обучения. При обучении из Jupyter Server на выделенных GPU взимается оплата с момента создания Jupyter Server до удаления, даже если он не используется.
См.также
Управление распределенными задачами. Запуск и мониторинг распределенных GPU-задач.
Примечание
Бесплатные Jupyter Server создаются с этим типом задач.
При работе с архивами, содержащими более 10 000 файлов размером менее 1 МБ, время распаковки на конфигурации Управление распределенными задачами будет значительно выше, чем на конфигурации с выделенными GPU и hardware CPU. О других особенностях см. Советы по оптимизации процесса обучения.
Обучение моделей на CPU. Подготовка данных, обучение моделей на классическом стеке Data Science.
Препроцессинг и Big Data. Обработка больших данных на кластерах Spark с помощью CPU.
Установите требуемую конфигурацию Jupyter Server и создайте его.
Выберите один из доступных регионов размещения ресурсов и задайте параметры нового Jupyter Server. Подробнее см. Регионы размещения ресурсов.
Выберите Ресурсы для задачи.
Ориентируйтесь на цвет индикатора рядом с названием конфигурации:
Зеленый — свободных ресурсов достаточно для запуска сервера в выбранной конфигурации.
Желтый — свободных ресурсов мало для запуска серверов в этой конфигурации. Если планируете создать несколько таких серверов, ресурсов может не хватить.
Серый — свободных ресурсов не осталось. Выбрав эту конфигурацию, вы попадаете в очередь на высвобождение ресурсов. Jupyter Server будет иметь статус «Запускается».
Чтобы не ждать, выберите другой регион или конфигурацию.
Нажмите Выбрать образ:
DataHub — базовые образы платформы ML Space;
Docker registry — кастомные образы, загруженные пользователем в Docker registry.
Названия образов в форме выбора приведены без адреса репозитория образа.
Для образов может быть приведено описание, а также сведения об установленных в образе фреймворках.
Перейдите в одну из вкладок и выберите Docker-образ и тег. В рамках выбранного образа запустится Jupyter Server.
Один из базовых образов.
Набор образов зависит от региона, выбранного на шаге а.
См.также
Чтобы использовать собственный образ, создайте его и загрузите в Docker registry.
В качестве Docker-образа выберите кастомный образ из Docker registry.
Нажмите Выбрать.
Нажмите Создать Jupyter Server и дождитесь инициализации сервера. Как только она завершится, статус Jupyter Server изменится с «Запускается» на «Подключен».
Примечание
Запуск Jupyter Server, находящегося в очереди в статусе «Запускается», может произойти в том числе и ночью. При этом тарификация начнется с момента запуска.
Подключитесь к Jupyter Server, выбрав Jupyter или JupyterLab. Логи Jupyter Server можно посмотреть, выбрав соответствующий пункт из меню .
Для отправки запросов из Jupyter Server в интернет используйте следующие номера TCP-портов: 80, 443, 8000–8999.
Использование Jupyter Server из интернета невозможно без интерфейса ML Space или SSH-соединения с Jupyter Server.
Примечание
Jupyter Server можно приостановить, если используется базовый образ версии старше 0.0.80. См. Остановить или удалить Jupyter Server.
Сколько файлов и каталогов отображает интерфейс в Jupyter Server?
Примечание
На предыдущем шаге должен быть выбран тип задачи Препроцессинг и Big Data.
В открывшемся диалоговом окне задайте необходимые параметры. Описание параметров приведено в таблице ниже.
Этап конфигурирования
Параметр
Описание
Ресурсы
Ресурсы Driver
Аппаратные ресурсы, аллоцированные для размещения Spark Driver. Выберите необходимую конфигурацию из списка доступных конфигураций.
Ресурсы Executor
Аппаратные ресурсы, аллоцированные для размещения воркеров Spark, на которых запускаются процессы Spark Executor. Выберите необходимую конфигурацию, которая будет соответствовать одному экземпляру Executor.
Количество Executor
Количество воркеров Spark, которые будут созданы в рамках кластера. В данный момент автомасштабирование кластера не поддерживается. Ресурсы будут выделены статично на все время существования кластера.
Версия Spark
Версия Spark на создаваемом кластере.
Образ Spark
Образ для создания кластера Spark.
Для создания кластера Spark с выбранными параметрами нажмите Создать Jupyter Server.
Кластер Spark создастся через 1–2 минуты. После завершения можно подключиться и использовать интерфейс Jupyter Notebook или JupyterLab. Подключитесь к Jupyter Server, нажав соответствующую кнопку.
В открывшемся окне Jupyter Server нажмите New. Выберите из выпадающего меню тип . Созданный Jupyter Notebook подключится к кластеру Spark.
Компонент Spark Web UI недоступен при работе в Jupyter Server с доступом к Spark.
для Dev & Test