В этом разделе описаны принципы устройства и работы сервиса Managed Flink.
Основной сущностью Managed Flink является инстанс, внутри которого создаются задачи.
Инстанс разворачивается в кластере Data Platform и может интегрироваться с другими продуктами через общую клиентскую сеть VPC. Вы можете создать несколько инстансов в одном кластере под разные цели.
Подробнее о сервисе Data Platform
После создания инстанса в связанном с ним бакете Object Storage появится папка «HA». Она содержит файлы, необходимые для восстановления инстанса и задач в случае сбоя.
Не удаляйте папку «HA» в бакете Object Storage.
При создании инстанса необходимо выбрать для него конфигурацию:
виртуальные ядра процессора — vCPU;
оперативная память в ГБ — RAM.
На этапе Preview доступны версии 2.0 и 1.20.
Слот — параметр TaskManager в инстансе Managed Flink, который определяет параллелизм задачи — количество одновременно выполняемых подзадач. Иными словами количество слотов определяет максимальный параллелизм при выполнении задачи. Один слот эквивалентен одному потоку выполнения или процессу, в рамках которого запускается отдельная подзадача.
Параллелизм в свою очередь определяется при создании задачи и ограничен количеством слотов, выбранным при создании инстанса.
Managed Flink представляет два типа планировщика, который настраивается на этапе создания инстанса:
Default — стандартный.
Adaptive — гибкий, настраивает параллелизм в зависимости от свободных слотов TaskManager.
Чекпоинт (checkpoint) — это промежуточная точка выполнения задачи в момент времени. Чекпоинт автоматически сохраняет данные обо всех активных задачах. В случае сбоя выполнение задачи продолжится с последнего чекпоинта.
Сейвпоинт (savepoint) — это специальные точки сохранения текущего состояния приложения:
метаданные;
задачи;
операторы;
данные, находящиеся в процессе обработки.
Сейвпоинт можно использовать для полного переноса состояния приложения на другую среду выполнения.
Коннекторы обеспечивают взаимодействие Managed Flink с другими продуктами: базами данных, хранилищами и API.
На этапе Preview доступны коннекторы:
Вид коннектора | Коннектор |
|---|---|
DataStream | Apache Kafka FileSystem JDBC MongoDB Prometheus RabbitMQ |
Table and SQL | Apache Kafka Elasticsearch FileSystem JDBC MongoDB |