С помощью этого руководства вы запустите DAG-файл из бакета Object Storage через интерфейс Airflow.
Вы будете использовать следующие сервисы:
Managed Airflow — сервис для организации, автоматизации и контроля процессов.
Object Storage — объектное S3-хранилище с бесплатным хранением файлов объемом до 15 ГБ.
Шаги:
Перед началом работы
-
Если вы уже зарегистрированы, войдите под своей учетной записью.
Создайте бакет Object Storage. Назовите бакет labs.
В бакете labs создайте папку с названием dags.
Создайте кластер Data Platform, в котором будет размещен инстанс.
Скачайте и установите root-сертификат на устройство.
Создайте инстанс Managed Airflow. Включите опцию Публичный хост.
1. Войдите в Airflow UI
Перейдите в раздел Evolution и выберите сервис Managed Airflow.
Нажмите на карточку инстанса airflow-labs.
В блоке Настройки доступа нажмите ссылку в поле Публичный хост.
Нажмите Sign in with Cloud.ru.
2. Подготовьте DAG-файл
Сохраните скрипт из документации Airflow. Назовите файл «example.py».
Загрузите скрипт в Object Storage в папку «dags».
3. Запустите DAG-файл
Откройте Airflow UI.
В разделе Dags появится файл example. Список файлов может обновиться не сразу.
Нажмите
.Нажмите Trigger.
4. Проверьте результаты
Убедитесь, что DAG отработал и завершился со статусом «Success».
Чтобы посмотреть подробности выполнения задачи, нажмите на название процесса.
Результат
Вы запустили файл DAG, расположенный в Object Storage.