tocdepth

2

Создать и активировать окружение в запущенном Jupyter Server

Окружения обеспечивают изолированные пространства для работы в Jupyter Server. В инструкции рассмотрим создание окружения в Jupyter Server с предустановленной conda и без.

Виртуальное окружение — это инструмент, позволяющий создавать изолированные среды для выполнения и разработки приложений.

С помощью виртуального окружения можно установить и использовать различные версии пакетов и зависимостей для каждого проекта, изолируя их друг от друга и предотвращая конфликты или несовместимости.

Используя виртуальное окружение, вы получаете:

  • Изоляцию зависимостей. Каждое виртуальное окружение имеет собственный независимый набор зависимостей и пакетов, что позволяет избежать конфликты между различными версиями пакетов.

  • Управление версиями.

  • Чистоту проекта. Виртуальное окружение помогает поддерживать проект организованным, так как все зависимости и пакеты проекта хранятся в отдельной директории.

  • Переносимость. Вы можете передать виртуальное окружение на другую машину или другим разработчикам, что позволяет вести совместную работу над проектом.

  • Использование виртуальных окружений рекомендуется для разработки проектов, поскольку он помогает управлять и упрощать зависимости и версии, а также поддерживать проект в чистом и организованном состоянии.

Настройка окружения в Jupyter Server запущенном из образа jupyter-server

Jupyter Server должен быть создан из образа jupyter-server версии 0.0.90 и выше, так как в нем уже предварительно установлена conda.

Рассмотрим пример создания окружения с версиями:

  • Python — 3.11.

  • CUDA — 12.1.0.

Примечание

  • Поддерживается установка версии CUDA, начиная с 11.8 и выше.

  • При работе в Jupyter Server, созданном из последней версии образа jupyter-server, необходимо пересоздать окружения, созданные в предыдущих версиях jupyter-server. Пересоздание поможет избежать некорректного поведения окружения.

  1. Создайте Jupyter Server с образом cr.ai.cloud.ru/aicloud-jupyter/jupyter-server версии 0.0.90 и выше.

  2. Выберите JupyterLab.

  3. Запустите терминал.

    См.также

    Нестабильная работа терминала Jupyter Server из Яндекс.Браузера

  4. Вызовите справку с помощью команды:

    mlspace environments create --help
    ../../../_images/s__env-create__help.png

  5. В терминале выполните команду:

    mlspace environments create --env llama_trainer --python 3.11 --cuda 12.1.0

    Доступные CUDA-версии приведены в документации Anaconda.

    ../../../_images/s__env-create__python-cuda.png

    См.также

    Документация NVIDIA по установке Conda (en).

  6. Проверьте наличие созданного окружения:

    mlspace environments list
    ../../../_images/s__env-create__list.png

    Примечание

    Список доступных окружений может выводиться достаточно долго из-за проверки CUDA в каждом образе. В дальнейших релизах мы ускорим работу.

    Обратите внимание, что при выполнении команды conda env list вы можете увидеть в терминале список незнакомых окружений. Эти окружения остались от ранее созданных ноутбуков.

    Удалите лишние окружения, если:

    • Jupyter Server, в которых они были созданы, уже удалены.

    • Необходимо освободить место на NFS.

    • Созданное окружение испорчено или неактуально.

    ../../../_images/s__conda-env-list__all__envs.png

Настройка окружения в Jupyter Server запущенном из образа без conda

Этот способ применим для базовых образов, кроме jupyter-server версии 0.0.90 и выше.

  1. Перейдите в Environments → Jupyter Servers.

  2. Создайте или перейдите в созданный Jupyter Server, используя JupyterLab.

  3. Нажмите +.

    ../../../_images/s__jupyter-lab__terminal__select.png

  4. Выберите Terminal.

  5. Создайте окружение, последовательно выполняя команды в окне терминала:

    conda create -n test_env python=required_python_version
conda init bash
/bin/bash
conda activate test_env
conda install -c anaconda ipykernel -y
python -m ipykernel install --user --name=Test_env

    В результате выполнения команды создается окружение с названием test_env и указанной в переменной required_python_version версией Python.

Пример создания окружения с версией Python 3.9

  1. Создайте окружение, последовательно выполняя команды в окне терминала:

    conda create -n env3.9 python=3.9
conda init bash
/bin/bash

    Примечание

    Команды, начиная с conda activate env3.9, должны выполняться в рамках пространства (env3.9) jovyan@your-jupyter-name-0:~$

    ../../../_images/s__jupyter__env__create__details.png

  2. Активируйте созданное окружение, последовательно выполняя команды в окне терминала:

    conda activate env3.9
conda install -c anaconda ipykernel -y
python -m ipykernel install --user --name=env3.9

    В результате выполнения будет создано окружение с названием env3.9 и версией Python 3.9.18.

    ../../../_images/s__jupyter__env__create__result__launcher.png

  3. Перейдите в созданное окружение env3.9:

    В Jupyter

    В JupyterLab

    Нажмите Kernel → Change kernel и выберите созданное окружение.

    Нажмите Python 3 (ipykernel) и выберите созданное окружение.

  4. Выполните команду в Jupyter Notebook:

    from platform import python_version

print(python_version())

    В результате будет показана установленная в окружении версия Python.

    ../../../_images/s__jupyter__env__create__result__python.png

Примечание

Созданное окружение будет удалено после приостановки Jupyter Server. Окружение с нужной версий Python нужно повторно создать после перезапуска Jupyter Server.

Удалить созданное окружение

  1. Перейдите в терминал Jupyter Server.

  2. В зависимости от того, какое окружение нужно удалить, выполните одну из команд:

    1. Чтобы удалить окружение conda, выполните команду:

      conda env remove -n environment_name

    2. Если необходимо удалить окружение из Jupyter, выполните:

      jupyter kernelspec uninstall environment_name

Другие команды можно посмотреть на GitHub.

Запустили Evolution free tier
для Dev & Test
Получить