В этой инструкции рассмотрены шаги по созданию инстанса Managed Airflow.
Перед началом работы
-
Если вы уже зарегистрированы, войдите под своей учетной записью.
Создайте кластер Data Platform, в котором будет размещен инстанс.
Скачайте и установите root-сертификат на устройство.
(Опционально) Если вы собираетесь использовать PIP-пакет из интернета, создайте sNAT-шлюз в
, в которой создан кластер Data Platform.
Порядок действий
На верхней панели слева нажмите
и выберите Платформа данных → Managed Airflow.Справа сверху нажмите Создать инстанс Airflow.
В поле Название введите название инстанса.
В поле Кластер выберите или создайте кластер.
В поле Бакет выберите или создайте бакет.
(Опционально) Активируйте опцию Добавить зависимости, чтобы добавить библиотеки и плагины.
В поле Наименование PIP-пакета — введите пакет в формате pandas[<module_name>]==x.x.x.
(Опционально) В поле Лог-группа выберите или создайте новую.
Нажмите Продолжить.
В блоках:
Конфигурация веб-сервера
Конфигурация планировщика
Конфигурация воркеров
Выберите Вычислительные ресурсы и Количество экземпляров.
(Опционально) В блоке Дополнительные конфигурации активируйте опции:
Включить Triggerer — если вам необходим автоматический запуск задач.
Включить DAG-процессор — если вам необходима автоматическая аналитика DAG-файлов, обновление структуры и расписания задач.
Для обеих опций заполните поля Вычислительные ресурсы и Количество экземпляров.
Нажмите Продолжить.
В поле Зона доступности выберите
.В поле Подсеть выберите подсеть или создайте новую.
(Опционально) Активируйте опцию Подключить публичный веб-интерфейс. Она понадобится, если вы планируете подключаться к инстансу снаружи
.Нажмите Создать.
Создание инстанса займет около 10 минут. После создания вы можете продолжить работу с инстансом в веб-интерфейсе внутри него.