Быстрый старт

Перед началом работы

1. Создайте бакет Object Storage, в котором будет храниться журнал событий и код задачи Spark.

2. Добавьте в Object Storage файл с кодом задачи Spark.

3. Настройте DNS-сервер и подсеть.

4. Создайте кластер Data Platform, в котором будет размещен инстанс.

   Назовите кластер «dp-start».

5. Создайте пароль и добавьте его в Secret Manager. Этот секрет станет паролем для доступа к интерфейсу Spark.

Создайте инстанс

1. Перейдите в раздел Evolution и выберите сервис Managed Spark.

2. Нажмите Создать инстанс.

3. В блоке Общие параметры:

   • Название — spark.

   • Кластер — dp-start.

4. В блоке Конфигурация выберите:

   • Вычислительные ресурсы — Small (vCPU 2, RAM 4).

   • Количество воркеров — 2.

5. В блоке Настройки:

   • Место сохранения — Object Storage.

   • Бакет — выберите бакет из списка.

6. В блоке Логирование в поле Лог-группа выберите группу логов.

7. Нажмите Продолжить.

8. В блоке Сетевые настройки выберите:

   • Зона доступности — зону доступности.

   • Подсеть — подсеть со sNAT-шлюзом и с DNS-сервером.

     Если нужной подсети нет, создайте новую, нажав Создать новую подсеть.

9. В блоке Настройки доступа:

   • Подключить публичный хост — активируйте опцию, чтобы опубликовать инстанс в интернете. Интерфейсы Spark History Server и Spark UI станут доступны из интернета.

   • Логин — задайте логин для доступа к Spark.

   • Пароль — выберите секрет для доступа к Spark.

     Вы можете создать новый секрет, нажав Создать новый секрет.

10. Нажмите Создать.

Создайте задачу

1. В списке инстансов Managed Spark откройте нужный инстанс.

2. Перейдите на вкладку Задачи.

3. Нажмите Создать задачу.

4. В блоке Общие параметры введите название задачи.

5. В блоке Образ выберите базовый образ Spark-3.5.0.

6. В блоке Скрипт приложения:

   • Тип запускаемой задачи — язык программирования, на котором написана задача Spark.

   • Путь к запускаемому файлу — путь к задаче в Object Storage.

7. (Опционально) Активируйте опцию Добавить аргумент, чтобы указать дополнительные аргументы командной строки для запуска скрипта задачи.

8. В блоке Вычислительные ресурсы задайте вычислительные ресурсы для Driver и Executors.

9. (Опционально) В блоке Настройки активируйте опции:

   • Добавить параметры окружения (ENV), чтобы настроить окружение.

   • Добавить Spark конфигурацию (–conf), чтобы указать дополнительные параметры выполнения задачи.

   • Добавить зависимости, чтобы добавить необходимые пакеты и библиотеки.

10. Нажмите Создать.

Что дальше