ML Space

Вопросы по окружениям и Jupyter Server

Как развернуть пользовательские окружения на сервисе Environments?

Воспользуйтесь инструкцией.

Как приостановить Jupyter Server?

Для приостановки Jupyter Server:

Выберите сервер, который планируете приостановить.
Нажмите на иконку паузы в соответствующей строке списка.
Jupyter Server изменит статус «На паузе».

Доступны ли логи Jupyter Server после приостановки?

После приостановки посмотреть логи нельзя. Для просмотра логов возобновите работу Jupyter Server.

Можно ли подключиться к Jupyter Server, не используя SSH или интерфейс ML Space?

Нет, такая возможность не поддерживается.

Для подключения к Jupyter Server используйте подключение по SSH.

Будет ли тарифицироваться Jupyter Server в статусе «На паузе»?

Если Jupyter Server приостановлен, он не тарифицируется.

Будет ли тарифицироваться Jupyter Server в статусе «Ошибка» или «Предупреждение»?

В случае некорректного запуска Jupyter Server может принимать статус «Ошибка» или «Предупреждение», при этом используемые ресурсы тарифицируются. Рекомендуем удалить Jupyter Server в таком статусе и создать его заново.

Как запустить ячейку Jupyter Server во время сборки образа и завершить ее после сборки?

Если возникает потребность выполнения ячейки после сборки образа, добавьте код:

def wait_image_build_job(job):
    response = job.submit()
    if "created" not in response:
        return response
    job.logs()
    return "Done"


job = ImageBuildJob(...........)
wait_for_image_build_job(job)

Что сделать, чтобы столбец ipynb_checkpoints не появлялся в метриках?

Использовать файлы MLflow средствами MLflow и файлы Jupyter Lab/Notebook средствами Jupyter Lab/Notebook. Так можно избежать непредвиденных артефактов в виде .ipynb_checkpoints-столбца в разделе Metrics.

Папка mlflow — машиночитаемая (предусмотрено читать через API MLflow), при необходимости открывать файлы можно по SSH через Cyberduck/терминал.

ipynb_checkpoints-папки появляются не везде, а только в том каталоге, где находится запущенный Jupyter Notebook. Поэтому наиболее простым решением проблемы с MLflow было бы отделить одно от другого и явно определять каталог, в котором будет находиться информация, относящаяся к MLflow-эксперименту.

Делается это следующим образом: mlflow.set_tracking_uri('file:/home/jovyan/mlruns').

Проверить текущий каталог можно командой mlflow.get_tracking_uri().

См.также

Документация MLflow

Есть ли доступ в интернет из запущенного Jupyter Server?

Да, есть.

Чтобы получить список белых IP-адресов, которые может использовать Jupyter Server при обращении в интернет, обратитесь в техническую поддержку.

Какие TCP-порты можно использовать для выхода в интернет из Jupyter Server или задач обучения?

Для отправки запросов из Jupyter Server в интернет используйте следующие номера TCP-портов: 80, 443, 8000–8999.

Использование Jupyter Server из интернета невозможно без интерфейса ML Space или SSH-соединения с Jupyter Server.

Как восстановить удаленный файл из корзины Jupyter Server?

Перейдите в каталог ~/.local/share/Trash/files в терминале Jupyter Server.
Восстановите требуемый файл с помощью команды mv filename destination.

Когда становятся доступными логи Jupyter Server?

Логи становятся доступными после перехода Jupyter Server в статус «Подключен».

Сколько файлов и каталогов отображает интерфейс в Jupyter Server?

Интерфейс Jupyter Server отображает не более 1 000 файлов и 100 каталогов. Для работы с каталогами, содержащими большее число файлов и каталогов, используйте терминал Jupyter Server или расположите файлы таким образом, чтобы в одном каталоге находилось не более 1 000 файлов и 100 каталогов.

Можно ли удалять или изменять права файлов профиля Jupyter Server?

Не рекомендуется удалять файлы профиля .bashrc, .profile и похожие. Файлы находятся по адресу $HOME/.

Удаление приведет к потере переменных окружения.

Можно ли удалять каталог .ssh с ключами пользователя или изменять права для них?

Не рекомендуется удалять директорию .ssh с ключами пользователя.

Удаление приведет к невозможности подключения по SSH к Jupyter Server.

Как узнать namespace в Jupyter Server?

Чтобы узнать namespace, в терминале Jupyter Server выполните команду:

env | grep NAMESPACE

Как просмотреть файловые системы, примонтированные к Jupyter Server

Для отображения информации обо всех файловых системах, включая дублирующиеся записи файловых систем и псевдо-файловые системы, такие как proc и cgroup, выполните:

df -ha

Для получения информации обо всех файловых системах, за исключением proc и cgroup, выполните:

df -ha | grep -v -E '^(proc|cgroup)

Какое хранилище используется в индивидуальном Jupyter Server?

Используется NFS-хранилище региона, в котором был создан индивидуальный Jupyter Server. В NFS выделен приватный каталог, который доступна только пользователю, создавшему Jupyter Server.

Чтобы поделиться файлами из индивидуального Jupyter Server, используйте каталог workspace. Этот каталог доступен всем пользователям воркспейса, где был создан Jupyter Server.

Как дать доступ к индивидуальному Jupyter Server другому пользователю?

Индивидуальный Jupyter Server доступен только для одного пользователя — своего создателя.

Если необходимо предоставить доступ нескольким пользователям, создайте публичный Jupyter Server.

Видны ли индивидуальные Jupyter Server другим пользователям проекта?

Нет. У пользователя нет возможности видеть индивидуальные Jupyter Server других пользователей проекта.

Только администратор видит все индивидуальные Jupyter Server в проекте, но не имеет доступа к их содержимому.

Расходуют ли conda-окружения inodes воркспейса?

Да, расходуют.

Что делать, если пользователь, создавший индивидуальный Jupyter Server, уволился?

Чтобы получить доступ к данным такого Jupyter Server, обратитесь в техническую поддержку.

Как будет монтироваться NFS, если у пользователя два и более индивидуальных Jupyter Server?

В каждый Jupyter Server монтируется приватная папка пользователя.

Папка располагается в:

каталоге /home/jovyan/ созданного Jupyter Server;
воркспейсе, где был созданы индивидуальные Jupyter Server;
регионе, где был созданы индивидуальные Jupyter Server.

Если Jupyter Server находится в другом регионе, доступна ли там его приватная папка?

Приватная папка своя в каждом воркспейсе и в каждом регионе.

Можно ли создать индивидуальный Jupyter Server, используя кастомный образ?

Нет.

Индивидуальные Jupyter Server можно создать только с помощью базовых образов ML Space.

Как перенести данные в NFS индивидуального Jupyter Server с помощью правила переноса?

Создайте индивидуальный Jupyter Server или подключитесь к уже существующему.
В терминале Jupyter Server посмотрите примонтированные файловые системы командой и скопируйте путь, находящийся напротив home/jovyan:
```
df -h
```
Создайте правило переноса данных и заполните необходимые поля.
1. В разделе Источник в поле Путь к папке или файлу укажите каталог-источник users/username@cloud.ru_xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/<path-to-file>.
2. В разделе Место назначения в поле Путь к папке или файлу укажите каталог места назначения workspace/<path-to-file> .
Дождитесь выполнения правила переноса и проверьте файлы в месте назначения.

Примечание
При переносе отдельного файла или файлов они размещаются в каталоге.

Как перевести Jupyter Server из одного региона в другой?

Потребность перенести Jupyter Server возникает, если нужная конфигурация вычислительных ресурсов недоступна в текущем регионе.

Рассмотрим пример переноса из региона Christofari.V100 в регион Christofari.A100 через Evolution Object Storage. Последовательность действий применима для перевода Jupyter Server в любой регион.

Перенесите требуемые для работы данные из NFS Christofari.V100 в Evolution Object Storage, создав правило переноса.
Создайте Jupyter Server в регионе Christofari.A100 с требуемой конфигурацией.
Перенесите данные из S3 на NFS региона Christofari.A100. Используйте любой из способов переноса.

Как останавливать Jupyter Server по расписанию?

Задать настройки автоматического выключения, или остановки, можно при создании Jupyter Server.

Была ли статья полезной ?

Предыдущая статья

Artifact Registry и Docker registry

Следующая статья

Вопросы по задачам обучения

Поддержка Юридические документы