В этом разделе описаны принципы устройства и работы сервиса Managed Flink.
Основной сущностью Managed Flink является инстанс, внутри которого создаются задачи.
Инстанс разворачивается в кластере Data Platform и может интегрироваться с другими продуктами через общую клиентскую сеть VPC. Вы можете создать несколько инстансов в одном кластере под разные цели.
Подробнее о сервисе Data Platform
После создания инстанса в связанном с ним бакете Object Storage появится папка «HA». Она содержит файлы, необходимые для восстановления инстанса и задач в случае сбоя.
Не удаляйте папку «HA» в бакете Object Storage.
При создании инстанса необходимо выбрать для него конфигурацию:
виртуальные ядра процессора — vCPU;
оперативная память в ГБ — RAM.
На этапе Preview доступны версии 2.0 и 1.20.
Слот — параметр TaskManager в инстансе Managed Flink, который определяет параллелизм задачи — количество одновременно выполняемых подзадач. Иными словами количество слотов определяет максимальный параллелизм при выполнении задачи. Один слот эквивалентен одному потоку выполнения или процессу, в рамках которого запускается отдельная подзадача.
Параллелизм в свою очередь определяется при создании задачи и ограничен количеством слотов, выбранным при создании инстанса.
Managed Flink представляет два типа планировщика, который настраивается на этапе создания инстанса:
Default — стандартный.
Adaptive — гибкий, настраивает параллелизм в зависимости от свободных слотов TaskManager.
Чекпоинт (checkpoint) — это промежуточная точка выполнения задачи в момент времени. Чекпоинт автоматически сохраняет данные обо всех активных задачах. В случае сбоя выполнение задачи продолжится с последнего чекпоинта.
Сейвпоинт (savepoint) — это специальные точки сохранения текущего состояния приложения:
метаданные;
задачи;
операторы;
данные, находящиеся в процессе обработки.
Сейвпоинт можно использовать для полного переноса состояния приложения на другую среду выполнения.
Managed Flink позволяет запускать задачи Flink и отслеживать ход их выполнения. Задача — программа потоковой обработки данных, которая состоит из набора связанных друг с другом операторов, соединений, функций и других компонентов. Вы можете задать необходимые аргументы и параметры при создании задачи.
Managed Flink поддерживает безопасное хранение чувствительной информации, необходимой для выполнения задач Flink. Они хранятся в сервисе Secret Management и передаются в среду выполнения задач. Их можно добавить при создании инстанса. При изменении секрета в Secret Management значения автоматически обновятся в Managed Flink в течение минуты.
Чтобы использовать такую переменную, в задаче необходимо указать путь к файлу /home/user/secret/mysecret.
Коннекторы обеспечивают взаимодействие Managed Flink с другими продуктами: базами данных, хранилищами и API.
На этапе Preview доступны коннекторы:
Вид коннектора | Коннектор |
|---|---|
DataStream | Apache Kafka FileSystem JDBC MongoDB Prometheus RabbitMQ |
Table and SQL | Apache Kafka Elasticsearch FileSystem JDBC MongoDB |