Облачная платформаEvolution

cloudru_evolution_spark_spark_job (Resource)

Эта статья полезна?

Example Usage

resource "cloudru_evolution_spark_spark_job" "resource_spark_job" {
  spark_id     = "0000-0000-0000-0000-0000"
  name         = "spark-job-1"
  description  = "Spark job description"
  base_image   = {
        id = "0000-0000-0000-0000-0000"
        name = "Spark-4.0.0"
        description = "Base Spark 4.0.0 image"
  }
  custom_image = {
        custom_image_uri = "cr.cloud.ru/my-project/my-spark-image:latest"
  }
  # Варианты значений параметра type:
 # JOB_TYPE_JAVA, JOB_TYPE_PYTHON, JOB_TYPE_SCALA, JOB_TYPE_R
  type                 = "JOB_TYPE_PYTHON"
  java                 = {
        main_app_file = "s3a://bucket/app.jar"
        main_class = "com.example.Main"
        args = ["--input","data.csv"]
        env = {
    068129f2-fbf5-4108-871e-7c0d70ce1202 = "3df39594-597e-4d64-8561-3ba2c8bdf6e0"}
        config_spark = {
    8836cd9c-7d0b-4f30-b0b8-84acfd3b70c2 = "a26b190f-202f-4199-badc-eb411cd77fe1"}
        jar_files = ["io.delta:delta-spark_2.12:3.2.0"]
        files = ["s3a://bucket/config.properties"]
        config_spark_final = {
    b0403a19-a4de-41d5-a90b-9f7367aa6fce = "b1f4729c-0bd2-4806-8a3e-e1d862294de9"}
  }
  python               = {
        main_app_file = "s3a://bucket/main.py"
        args = ["--input","data.csv"]
        env = {
    709e8bc0-19ea-482d-b3c1-eaa58edd8470 = "c98d20d4-99b5-4b9b-8c49-4a9fabe89074"}
        config_spark = {
    67989f1c-c244-4300-8e51-9a7d8fc40c41 = "99fc08e9-4fad-4a0e-8c5a-93b50b6b708c"}
        jar_files = ["s3a://bucket/lib.jar"]
        py_files = ["s3a://bucket/utils.py"]
        files = ["s3a://bucket/config.properties"]
        config_spark_final = {
    1f700fdd-87ad-4ab9-b493-2e954c7c298f = "aebf2834-d9ae-4441-9fd5-4597dbf4fbe3"}
  }
  scala                = {
        main_app_file = "s3a://bucket/app.jar"
        main_class = "com.example.Main"
        args = ["--input","data.csv"]
        env = {
    ef45658f-9ced-4220-948b-b64642782d96 = "dac7a1e3-ae28-493b-ba28-3f9e50e9ffc9"}
        config_spark = {
    e76da3e7-cb64-4ed2-995c-009339a2b12d = "2b6fbc3f-db10-47fa-a4f7-28656442e767"}
        jar_files = ["s3a://bucket/lib.jar"]
        files = ["s3a://bucket/config.properties"]
        config_spark_final = {
    1fbec58b-94c2-4f5b-bde9-15ee24566b63 = "2205eb25-5488-4edd-b01a-d80af8e2eaaf"}
  }
  r                    = {
        main_app_file = "s3a://bucket/main.R"
        args = ["--input","data.csv"]
        env = {
    376f6ff1-7244-4b4b-a55b-779e0a744097 = "aaf790e5-0157-4007-b7d6-afe248130980"}
        config_spark = {
    15d3b72a-4c55-4a35-87f1-10fafa8a7d8f = "1942e385-ac02-400c-a89f-e71a546826e2"}
        jar_files = ["s3a://bucket/lib.jar"]
        files = ["s3a://bucket/config.properties"]
        config_spark_final = {
    2296edd7-6fe1-4ff6-a2d2-4481afa31d52 = "846121e1-1c34-4df1-bf30-99d82a5e1812"}
  }
  driver               = {
        cores = 1
        memory = "1g"
  }
  executor             = {
        count = 1
        cores = 1
        memory = "1g"
  }
  spark_application_id = "app-20260528100000-0000"
  base_image_request   = {
        base_image_id = "0000-0000-0000-0000-0000"
  }
  # Варианты значений параметра job_type:
 # JOB_TYPE_JAVA, JOB_TYPE_PYTHON, JOB_TYPE_SCALA, JOB_TYPE_R
  job_type     = "JOB_TYPE_PYTHON"
  spark_job_id = "0000-0000-0000-0000-0000"
}

Schema

Required

driver (Attributes) Конфигурация driver. (see below for nested schema)
executor (Attributes) Конфигурация Executor. (see below for nested schema)
job_type (String) Тип задачи.
name (String) Название.
spark_id (String) Идентификатор Spark.
spark_job_id (String) Идентификатор spark job.
type (String) Тип задачи.

Optional

base_image (Attributes) Базовый образ. (see below for nested schema)
base_image_request (Attributes) Запрос для базового образа. (see below for nested schema)
custom_image (Attributes) Кастомный образ. (see below for nested schema)
description (String) Описание.
java (Attributes) Java конфигурация. (see below for nested schema)
python (Attributes) Python конфигурация. (see below for nested schema)
r (Attributes) R (R lang) конфигурация. (see below for nested schema)
scala (Attributes) Scala конфигурация. (see below for nested schema)
spark_application_id (String) Идентификатор запущенного Spark-приложения.

Read-Only

created_at (String) Время создания.
created_by (String) Идентификатор пользователя, кем создана задача.
external_ui_url (String) Url внешнего хоста.
id (String) Идентификатор spark job.
internal_ui_url (String) Url внутреннего хоста.
status (String) Статус.
updated_at (String) Время обновления.
updated_by (String) Идентификатор пользователя, кем обновлена задача.

Nested Schema for driver

Required:

cores (Number) Количество ядер.
memory (String) Размер RAM.

Optional:

gpus (Number) Количество GPU.

Nested Schema for executor

Required:

cores (Number) Количество ядер.
count (Number) Количество executors.
memory (String) Размер RAM.

Optional:

gpus (Number) Количество GPU.

Nested Schema for base_image

Read-Only:

description (String) Описание.
id (String) Идентификатор id базового образа.
name (String) Название.

Nested Schema for base_image_request

Required:

base_image_id (String) Идентификатор id базового образа.

Nested Schema for custom_image

Required:

custom_image_uri (String) Uri кастомного образа.

Nested Schema for java

Required:

main_app_file (String) Путь к исполняемому файлу.
main_class (String) Главный класс.

Optional:

args (List of String) Аргументы.
config_spark (Map of String) Конфигурация spark, введенная пользователем.
env (Map of String) Переменные окружения.
files (List of String) Список других файлов.
jar_files (List of String) Список jars.

Read-Only:

config_spark_final (Map of String) Конфигурация spark, введенная пользователем и дополненная дефолтными параметрами конфигурации.

Nested Schema for python

Required:

main_app_file (String) Путь к исполняемому файлу.

Optional:

args (List of String) Аргументы.
config_spark (Map of String) Конфигурация spark.
env (Map of String) Переменные окружения.
files (List of String) Список других файлов.
jar_files (List of String) Список jars.
py_files (List of String) Список python файлов.

Read-Only:

config_spark_final (Map of String) Конфигурация spark, введенная пользователем и дополненная дефолтными параметрами конфигурации.

Nested Schema for r

Required:

main_app_file (String) Путь к исполняемому файлу.

Optional:

args (List of String) Аргументы.
config_spark (Map of String) Конфигурация spark.
env (Map of String) Переменные окружения.
files (List of String) Список других файлов.
jar_files (List of String) Список jars.

Read-Only:

config_spark_final (Map of String) Конфигурация spark, введенная пользователем и дополненная дефолтными параметрами конфигурации.

Nested Schema for scala

Required:

main_app_file (String) Путь к исполняемому файлу.
main_class (String) Главный класс.

Optional:

args (List of String) Аргументы.
config_spark (Map of String) Конфигурация spark.
env (Map of String) Переменные окружения.
files (List of String) Список других файлов.
jar_files (List of String) Список jars.

Read-Only:

config_spark_final (Map of String) Конфигурация spark, введенная пользователем и дополненная дефолтными параметрами конфигурации.

Предыдущая статья

cloudru_evolution_spark_spark_connect (Resource)

Следующая статья

cloudru_evolution_trino_catalog (Resource)

Эта статья полезна?

Поддержка Юридические документы Политика конфиденциальности