Создать новый Jupyter Server с доступом к кластеру Spark

Для создания Jupyter Server с доступом к кластеру Spark:

  1. Перейдите в Environments → Jupyter Servers.

  2. Нажмите Создать Jupyter Server.

  3. В поле Название Jupyter Server введите имя нового сервера. Имя следует вводить с учетом регистра. Разрешается применять следующие символы: строчные латинские буквы от a до z, цифры от 0 до 9, символ тире (–).

  4. Выберите тип задачи Препроцессинг и Big Data.

  5. В открывшемся диалоговом окне задайте необходимые параметры. Описание параметров приведено в таблице ниже.

    Этап конфигурирования

    Параметр

    Описание

    Ресурсы

    Ресурсы Driver

    Аппаратные ресурсы, аллоцированные для размещения Spark Driver. Выберите необходимую конфигурацию из списка доступных конфигураций.

    Ресурсы Executor

    Аппаратные ресурсы, аллоцированные для размещения воркеров Spark, на которых запускаются процессы Spark Executor. Выберите необходимую конфигурацию, которая будет соответствовать одному экземпляру Executor.

    Количество Executor

    Количество воркеров Spark, которые будут созданы в рамках кластера. В данный момент автомасштабирование кластера не поддерживается. Ресурсы будут выделены статично на все время существования кластера.

    Версия Spark

    Версия Spark на создаваемом кластере.

    Образ Spark

    Образ для создания кластера Spark.

  6. Для создания кластера Spark с выбранными параметрами нажмите Создать Jupyter Server.

  7. Кластер Spark создастся через 1–2 минуты. После завершения можно подключиться и использовать интерфейс Jupyter Notebook или JupyterLab. Подключитесь к Jupyter Server, нажав соответствующую кнопку.

  8. В открывшемся окне Jupyter Server нажмите New. Выберите из выпадающего меню тип ноутбука Spark –> Python (Kubernetes Mode) AI Cloud. Созданный ноутбук подключится к кластеру Spark.

    Компонент Spark Web UI недоступен при работе в Jupyter Server с доступом к кластеру Spark.

Важно

Для отправки запросов между Jupyter Server и интернетом используйте следующие номера TCP-портов: 80, 443, 8000–8999.