srv-img ML Space

Установить и обновить библиотеки в созданном Jupyter Server

В созданном Jupyter Server для установки пакетов можно использовать:

  • conda — для Jupyter Servers, созданных из образа jupyter-server версии 0.0.95 и выше;

  • pip — для всех Jupyter Servers без ограничений.

В каждом базовом образе Jupyter Server и базовом образе для задач обучения есть предустановленный набор библиотек.

Установка пакетов в окружение с помощью conda

В базовых образах для Jupyter Server нет root-прав.

Для установки требуемых пакетов можно использовать кастомные образы или базовый образ jupyter-server версии 0.0.90, в которых установлена conda.

С помощью conda можно устанавливать пакеты. Например, можете использовать в conda-forge и другие источники для установки пакетов без root-прав.

См.также

Пример установки пакета ffmpeg в созданное окружение

  1. Запустите Jupyter Server.

  2. Создайте conda окружение и выберите созданное окружение conda.

  3. Установите в терминале пакет ffmpeg в Jupyter Server, запущенный на образе jupyter-server:0.0.95:

    conda   install   ffmpeg
См.также

Установка и настройка пакетов с помощью pip

Для установки pip-пакетов в активированное окружение используется команда pip install. Например, если необходимо установить библиотеку numpy, выполните следующую команду:

pip   install   numpy

Когда нужно установить несколько пакетов, перечислите их в одной команде, разделяя имена пакетов пробелами:

pip   install   numpy   scipy   pandas

Пример установки специфических версий пакетов

Иногда требуется установить конкретную версию пакета. Для этого после имени пакета указывается его версия:

pip   install   numpy == 1 .18.5

Эта команда установит версию numpy 1.18.5 в ваше активированное окружение.

Установка пакетов из файла requirements.txt

Часто для удобства управления зависимостями проекта используется файл requirements.txt, содержащий список всех необходимых пакетов с указанием их версий. Для установки пакетов из такого файла используйте команду:

pip   install   -r   requirements.txt

Это позволит автоматически установить все перечисленные в файле пакеты, обеспечивая необходимое окружение для вашего проекта.

См.также

Описание команд и параметров

Работа с библиотеками с помощью pip

Чтобы увидеть список библиотек, установленных в образе Jupyter Server:

  1. Создайте или подключитесь к уже существующему Jupyter Notebook.

  2. В ячейке Jupyter Notebook выполните следующую команду:

    Получить список установленных в Jupyter Server библиотек
    pip   list

    Результатом выполнения команды станет список установленных библиотек.

Установка дополнительных библиотек в Jupyter Server

Для установки дополнительных библиотек выполните команду в ячейке ноутбука:

!pip   install   <package_name>   <version>

Где package_name — наименование библиотеки, которую предполагается установить, а version — версия данной библиотеки.

После установки библиотеки выполните следующую команду для проверки:

!pip   list   |   grep   <package_name>
Примечание

В Jupyter Server есть каталоги, в которых хранятся служебные и пользовательские файлы:

  • /home/user — каталог, уникальный для каждого Jupyter Server.

  • /home/jovyan — каталог, общий для всех Jupyter Server, созданных в рамках одного воркспейса.

Если устанавливать библиотеки с помощью команды pip install, то зависимости будут установлены в каталог /home/jovyan/.img-xxxxx.

При постановке Jupyter Server на паузу этот каталог остается, при остановке (удалении) каталог удаляется. При удалении Jupyter Server все библиотеки, которые установлены с помощью команды pip install, удаляются вместе с каталогом /home/user.

Для использования требуемого набора библиотек можно создать и использовать кастомный Docker-образ.

Пример:

Jupyter Server называется test-img-dir, в нем командой pip install glances установили библиотеку. Установленная библиотека с требуемыми зависимостями будет находиться в каталоге /home/jovyan/.imgenv-test-img-dir-0/lib/python3.7/site-packages.

Установка дополнительных библиотек в базовый образ

Пользователи могут установить дополнительные библиотеки в базовые образы. Для сборки кастомных образов используются средства функции client_lib. Подробнее в инструкции обучения из Jupyter Server с GPU.

См.также

CLI-утилита ML Space

Обновление версий библиотек в Jupyter Server

Чтобы обновить версию установленной библиотеки, выполните команду:

pip   install   <package_name>   --upgrade

Ранее установленная версия библиотеки обновится.

Пример переустановки версии torch приведен ниже.

pip   install   --no-cache-dir   torch === 1 .5.0+cu101   torchvision == 0 .6.0+cu101   -f   https://download.pytorch.org/whl/torch_stable.html
Примечание

Не рекомендуется менять версию базовых пакетов — Horovod, TensorFlow, Apex, MXNet, TensorBoard, KServe, PyTorch.

Обновление версий библиотек в базовых образах

Для обновления версий библиотек, установленных в базовом образе, внесите модули и их версии в файл requirements.txt и соберите кастомный образ с использованием этого файла. Подробнее в инструкции обучения из Jupyter Server с GPU.

См.также
Была ли статья полезной ?
Предыдущая статья
Подключиться к Jupyter Server по SSH из локальной IDE или терминала
Следующая статья
Собрать и использовать кастомный Docker-образ для Jupyter Server
/ DOCS
ML Space