Managed Spark

Создать задачу

Создать задачу можно, заполнив форму или скопировав задачу, созданную ранее. Во время копирования можно изменить значения полей.

Задачи начинают выполняться сразу после создания.

Перед началом работы

Ознакомьтесь со списком параметров, которые не нужно задавать повторно, в разделе Параметры задач Spark. Значения некоторых параметров задаются при создании или определены по умолчанию.
(Опционально) Если собираетесь использовать форматы Iceberg и Delta Lake, сверьте совместимость версий.
(Опционально) Если вы собираетесь добавить пользовательский образ Spark:
1. Загрузите его в Artifact Registry.
2. Убедитесь, что у сервисного аккаунта, привязанного к инстансу, есть роль ar.registry.viewer.

Создать задачу

Перейдите в раздел Evolution и выберите сервис Managed Spark.
В списке Managed Spark откройте нужный инстанс.
Перейдите на вкладку Задачи.
Нажмите Создать задачу.
В блоке Общие параметры:
- Название — введите название задачи.
- (Опционально) Описание — введите описание.
В блоке Образ выберите образ Spark:

Стандартный образ Spark.

Выберите версию Spark из списка.
В блоке Скрипт приложения выберите тип запускаемой программы.
Укажите путь к запускаемой программе.
(Опционально) Активируйте опцию Добавить аргумент, чтобы указать дополнительные аргументы командной строки для запуска скрипта задачи.
В блоке Вычислительные ресурсы задайте параметры:
- Driver
  - Количество ядер
  - Объем памяти
- Executors
  - Количество исполнителей
  - Количество ядер
  - Объем памяти
(Опционально) В блоке Настройки активируйте опции:
- Добавить параметры окружения (ENV), чтобы настроить окружение.
- Добавить Spark конфигурацию (–conf), чтобы указать дополнительные параметры выполнения задачи.
- Добавить зависимости, чтобы добавить необходимые пакеты и библиотеки.
Нажмите Создать.

Задача Spark начнет выполняться и отобразится на странице инстанса на вкладке Задачи.

Была ли эта статья полезна?

Поддержка Юридические документы