В этой инструкции рассмотрены шаги по созданию инстанса Managed Flink.
Зарегистрируйтесь в личном кабинете Cloud.ru.
Если вы уже зарегистрированы, войдите под своей учетной записью.
Скачайте и установите root-сертификат на устройство.
Создайте бакет Object Storage. Он нужен для хранения задач Flink, чекпоинтов, сейвпоинтов и метаданных для восстановления запущенных задач в случае сбоя или перезапуска JobManager.
(Опционально) Если вы собираетесь добавить пользовательский образ Managed Flink:
Загрузите его в Artifact Registry.
Убедитесь, что у сервисного аккаунта, привязанного к инстансу, есть роль ar.registry.viewer.
Перейдите в раздел Evolution и выберите сервис Managed Flink.
Нажмите Создать инстанс.
В блоке Общие параметры:
Название — введите название инстанса.
(Опционально) Нажмите Добавить описание и заполните поле Описание.
Кластер — выберите или создайте кластер.
(Опционально) Добавить параметры окружения (ENV) — активируйте опцию, чтобы создать переменные окружения в среде выполнения задач.
Параметр — введите параметр.
Значение — введите значение параметра.
(Опционально) Добавить секрет — активируйте опцию, чтобы передать чувствительные данные в среду выполнения задач.
Секрет — выберите секрет из Secret Management.
Нажмите Создать секрет, чтобы добавить секрет с конфиденциальной информацией.
Файл с данными выбранного секрета появится в файловой системе TaskManager в /home/user/secret/mysecret.
В блоке Настройки выберите параметры:
Бакет — бакет Object Storage.
Лог-группа — группа хранения логов или создайте новую.
Нажмите Продолжить.
В блоке Конфигурация:
Версия Flink — выберите версию.
Flink CDC доступен только в версии 1.20.
(Опционально) Пользовательский образ — активируйте опцию, чтобы использовать пользовательский образ, добавленный в Artifact Registry.
В блоке Конфигурация JobManager выберите параметры:
Вычислительные ресурсы — конфигурация менеджера задач.
Тип планировщика — тип:
Default — стандартный планировщик.
Adaptive — гибкий планировщик, настраивает параллелизм в зависимости от свободных слотов TaskManager.
В блоке Конфигурация TaskManager выберите параметры:
Вычислительные ресурсы — конфигурация менеджера подзадач.
Количество воркеров — количество TaskManager в инстансе.
Количество слотов — количество параллельных подзадач, которые могут выполняться одновременно одним TaskManager.
Нажмите Продолжить.
В блоке Сетевые настройки выберите параметры:
Зона доступности — зона доступности.
Подсеть — подсеть с DNS-сервером или создайте новую.
В блоке Настройки доступа заполните поля:
(Опционально) Подключить публичный веб-интерфейс — активируйте опцию, чтобы создать публичный пользовательский интерфейс Flink. UI будет доступен по ссылке через интернет.
Пользователь — задайте имя пользователя для доступа к Flink UI.
Пароль — выберите пароль из списка секретов или создайте новый для доступа к Flink UI. Его можно будет изменить позже.
Нажмите Создать.
Инстанс появится в списке Managed Flink и перейдет в статус «Готов» в течение 30 минут.
После создания инстанса в выбранном бакете Object Storage появится папка «HA».
Не удаляйте папку «HA» в бакете Object Storage. Она содержит файлы, необходимые для восстановления инстанса и задач в случае сбоя.
Далее вы можете создать задачу Flink или войти в интерфейс Managed Flink:
В списке инстансов Managed Flink откройте карточку инстанса.
Перейдите на вкладку Информация.
Перейдите по ссылке в поле Публичный хост.
Введите данные из карточки инстанса:
User — Пользователь.
Password — Пароль, скопируйте значение секрета.
В интерфейсе Flink можно получить всю информацию о задачах.