С помощью этого руководства вы подготовите скрипт задачи Spark и DAG-файл для запуска этой задачи через Managed Airflow.
Вы будете использовать следующие сервисы:
Managed Airflow — сервис для организации, автоматизации и контроля процессов.
Managed Spark — сервис, который позволяет развернуть кластерное вычислительное решение на основе Apache Spark для распределенной обработки данных.
Object Storage — объектное S3-хранилище с бесплатным хранением файлов объемом до 15 ГБ.
Шаги:
Перед началом работы
Зарегистрируйтесь в личном кабинете Cloud.ru.
Если вы уже зарегистрированы, войдите под своей учетной записью.
Создайте бакет Object Storage с названием labs.
В бакете labs создайте две папки:
dags
jobs
Создайте секреты для доступа к Airflow и Managed Spark.
Создайте кластер Data Platform, в котором будут размещены инстансы.
Скачайте и установите root-сертификат на устройство.
Создайте инстанс Managed Airflow.
Назовите инстанс airflow-labs.
В поле Бакет выберите бакет labs.
Активируйте переключатель Публичный хост.
В поле Пароль для admin выберите созданный секрет.
1. Подготовьте скрипт Python
На этом шаге вы подготовите скрипт для задачи Spark и загрузите его в Object Storage.
Скопируйте и сохраните скрипт с названием spark_job и расширением .py:
Скрипт PythonЗагрузите скрипт в Object Storage в папку jobs.
2. Подготовьте DAG-файл
На этом шаге вы подготовите DAG-файл, который запускает скрипт задачи, и загрузите его в Object Storage.
Скопируйте и сохраните скрипт с названием spark_dag и расширением .py:
DAG-файлЗагрузите скрипт в Object Storage в папку dags.
3. Войдите в Airflow UI
В левом верхнем углу нажмите
и выберите сервис Managed Airflow.Нажмите на карточку инстанса airflow-labs.
В блоке Настройки доступа нажмите ссылку в поле Публичный хост.
Нажмите Sign in with Cloud.ru.
4. Запустите DAG-файл
Откройте Airflow UI.
В левой панели нажмите Администратор → Переменные.
Чтобы создать переменные, нажмите Добавить переменную:
Переменная KEY:
Ключ — KEY;
Значение — полученное при создании ключа значение Key ID.
Переменная SECRET:
Ключ — SECRET;
Значение — полученное при создании ключа значение Key Secret.
Переменная SPARK_INSTANCE_ID:
Ключ — SPARK_INSTANCE_ID;
Значение — ID инстанса Managed Spark. Его можно посмотреть в карточке инстанса.
В левой панели нажмите Dags.
В списке появится файл spark_dag.
Нажмите
.Нажмите Trigger.
5. Проверьте результаты
Чтобы посмотреть подробности выполнения, нажмите на название DAG spark_dag.
Убедитесь, что все задачи завершились статусом «Успех».
В списке инстансов Managed Spark откройте карточку созданного инстанса.
На вкладке Задачи появится задача с названием spark-job.
Результат
Вы запустили задачу в сервисе Managed Spark, используя DAG и скрипт задачи Spark из бакета Object Storage.