Создать новый Jupyter Server с доступом к кластеру Spark
Для создания Jupyter Server с доступом к кластеру Spark:
Перейдите в .
Нажмите Создать Jupyter Server.
В поле Название Jupyter Server введите имя нового сервера. Имя следует вводить с учетом регистра. Разрешается применять следующие символы: строчные латинские буквы от a до z, цифры от 0 до 9, символ тире (–).
Выберите тип задачи Препроцессинг и Big Data.
В открывшемся диалоговом окне задайте необходимые параметры. Описание параметров приведено в таблице ниже.
Этап конфигурирования
Параметр
Описание
Ресурсы
Ресурсы Driver
Аппаратные ресурсы, аллоцированные для размещения Spark Driver. Выберите необходимую конфигурацию из списка доступных конфигураций.
Ресурсы Executor
Аппаратные ресурсы, аллоцированные для размещения воркеров Spark, на которых запускаются процессы Spark Executor. Выберите необходимую конфигурацию, которая будет соответствовать одному экземпляру Executor.
Количество Executor
Количество воркеров Spark, которые будут созданы в рамках кластера. В данный момент автомасштабирование кластера не поддерживается. Ресурсы будут выделены статично на все время существования кластера.
Версия Spark
Версия Spark на создаваемом кластере.
Образ Spark
Образ для создания кластера Spark.
Для создания кластера Spark с выбранными параметрами нажмите Создать Jupyter Server.
Кластер Spark создастся через 1–2 минуты. После завершения можно подключиться и использовать интерфейс Jupyter Notebook или JupyterLab. Подключитесь к Jupyter Server, нажав соответствующую кнопку.
В открывшемся окне Jupyter Server нажмите New. Выберите из выпадающего меню тип ноутбука Spark –> Python (Kubernetes Mode) AI Cloud. Созданный ноутбук подключится к кластеру Spark.
Компонент Spark Web UI недоступен при работе в Jupyter Server с доступом к кластеру Spark.
Важно
Для отправки запросов между Jupyter Server и интернетом используйте следующие номера TCP-портов: 80, 443, 8000–8999.