Managed Flink позволяет запускать задачи Flink и отслеживать ход их выполнения. Задача — программа потоковой обработки данных, которая состоит из набора связанных друг с другом операторов, соединений, функций и других компонентов. Вы можете задать необходимые аргументы и параметры при создании задачи.
Managed Flink поддерживает безопасное использование чувствительной информации, необходимой для выполнения задач Flink. Они хранятся в сервисе Secret Management и передаются в среду выполнения задач. Их можно добавить при создании инстанса. При изменении секрета в Secret Management значения автоматически обновятся в Managed Flink в течение минуты.
Чтобы использовать такую переменную, в задаче необходимо указать путь к файлу /home/user/secret/mysecret.
Задачи бывают двух видов:
Потоковые — задачи для обработки непрерывного потока данных в реальном времени.
Пакетные — задачи для обработки фиксированного набора данных, например, файлы и таблицы из хранилища.
Сейвпоинт (savepoint) — это специальные точки сохранения текущего состояния приложения:
метаданные;
задачи;
операторы;
данные, находящиеся в процессе обработки.
Managed Flink позволяет задать интервал автоматического создания сейвпоинтов и выбрать их формат в потоковых задачах. Если не включить автоматическое создание сейвпоинтов, их можно будет создать вручную.
Managed Flink позволяет выбрать формат сейвпоинтов:
«Canonical» — сериализируется в нейтральный бинарный протокол. Сейвпоинт можно использовать для полного переноса состояния приложения на другую среду выполнения, но запись и восстановление происходят медленнее.
«Native» — копируется файлы, характерные для конкретного бэкенда и версии Flink. Запись и восстановление происходят быстрее, но формат не подходит другому окружению.
Чекпоинт (checkpoint) — это промежуточная точка выполнения задачи в момент времени. Чекпоинт автоматически сохраняет данные обо всех активных задачах. В случае сбоя выполнение задачи продолжится с последнего чекпоинта.
Managed Flink позволяет задать интервал автоматического создания чекпоинтов в потоковых задачах.
Если не включить автоматическое создание чекпоинтов, их не получится создать вручную.