Создать задачу
Создать задачу можно, заполнив форму или скопировав задачу, созданную ранее. Во время копирования можно изменить значения полей.
Задачи начинают выполняться сразу после создания.
Перед началом работы
-
Ознакомьтесь со списком параметров, которые не нужно задавать повторно, в разделе Параметры задач Spark. Значения некоторых параметров задаются при создании или определены по умолчанию.
-
(Опционально) Если собираетесь использовать форматы Iceberg и Delta Lake, сверьте совместимость версий.
-
(Опционально) Если вы собираетесь добавить пользовательский образ Spark:
-
Загрузите его в Artifact Registry.
-
Убедитесь, что у сервисного аккаунта, привязанного к инстансу, есть роль ar.registry.viewer.
-
Создать задачу
-
Перейдите в раздел Evolution и выберите сервис Managed Spark.
-
В списке Managed Spark откройте нужный инстанс.
-
Перейдите на вкладку Задачи.
-
Нажмите Создать задачу.
-
В блоке Общие параметры:
-
Название — введите название задачи.
-
(Опционально) Описание — введите описание.
-
-
В блоке Образ выберите образ Spark:
Стандартный образ Spark.
Выберите версию Spark из списка.
-
В блоке Скрипт приложения выберите тип запускаемой программы.
-
Укажите путь к запускаемой программе.
-
(Опционально) Активируйте опцию Добавить аргумент, чтобы указать дополнительные аргументы командной строки для запуска скрипта задачи.
-
В блоке Вычислительные ресурсы задайте параметры:
-
Driver
-
Количество ядер
-
Объем памяти
-
-
Executors
-
Количество исполнителей
-
Количество ядер
-
Объем памяти
-
-
-
(Опционально) В блоке Настройки активируйте опции:
-
Добавить параметры окружения (ENV), чтобы настроить окружение.
-
Добавить Spark конфигурацию (–conf), чтобы указать дополнительные параметры выполнения задачи.
-
Добавить зависимости, чтобы добавить необходимые пакеты и библиотеки.
-
-
Нажмите Создать.
Задача Spark начнет выполняться и отобразится на странице инстанса на вкладке Задачи.
- Перед началом работы
- Создать задачу