Создать инстанс Managed Flink

Перед началом работы

1. Зарегистрируйтесь в личном кабинете Cloud.ru.

   Если вы уже зарегистрированы, войдите под своей учетной записью.

2. Настройте DNS-сервер и подсеть.

3. Скачайте и установите root-сертификат на устройство.

4. Создайте кластер Data Platform, в котором будет размещен инстанс.

5. Создайте бакет Object Storage. Он нужен для хранения задач Flink, чекпоинтов, сейвпоинтов и метаданных для восстановления запущенных задач в случае сбоя или перезапуска JobManager.

6. (Опционально) Если вы собираетесь добавить пользовательский образ Managed Flink:

   1. Загрузите его в Artifact Registry.

   2. Убедитесь, что у сервисного аккаунта в связанном кластере Data Platform, есть роль ar.registry.viewer.

Создать инстанс

1. Перейдите в раздел Evolution и выберите сервис Managed Flink.

2. Нажмите Создать инстанс.

3. В блоке Общие параметры:

   • Название — введите название инстанса.

   • (Опционально) Нажмите Добавить описание и заполните поле Описание.

   • Кластер — выберите или создайте кластер.

   • (Опционально) Добавить параметры окружения (ENV) — активируйте опцию, чтобы создать переменные окружения в среде выполнения задач.

     • Параметр — введите параметр.

     • Значение — введите значение параметра.

   • (Опционально) Добавить секрет — активируйте опцию, чтобы передать чувствительные данные в среду выполнения задач.

     • Секрет — выберите секрет из Secret Management.

       Нажмите Создать секрет, чтобы добавить секрет с конфиденциальной информацией.

       Файл с данными выбранного секрета появится в файловой системе TaskManager в /home/user/secret/mysecret.

4. В блоке Настройки выберите параметры:

   • Бакет — бакет Object Storage.

   • Лог-группа — группа хранения логов или создайте новую.

5. Нажмите Продолжить.

6. В блоке Конфигурация:

   • Версия Flink — выберите версию.

     Flink CDC доступен только в версии 1.20.

   • (Опционально) Пользовательский образ — активируйте опцию, чтобы использовать пользовательский образ, добавленный в Artifact Registry.

7. В блоке Конфигурация JobManager выберите параметры:

   • Вычислительные ресурсы — конфигурация менеджера задач.

   • Тип планировщика — тип:

     • Default — стандартный планировщик.

     • Adaptive — гибкий планировщик, настраивает параллелизм в зависимости от свободных слотов TaskManager.

8. В блоке Конфигурация TaskManager выберите параметры:

   • Вычислительные ресурсы — конфигурация менеджера подзадач.

   • Количество воркеров — количество TaskManager в инстансе.

   • Количество слотов — количество параллельных подзадач, которые могут выполняться одновременно одним TaskManager.

9. Нажмите Продолжить.

10. В блоке Сетевые настройки выберите параметры:

    • Зона доступности — зона доступности.

    • Подсеть — подсеть с DNS-сервером или создайте новую.

11. В блоке Настройки доступа заполните поля:

    • (Опционально) Подключить публичный веб-интерфейс — активируйте опцию, чтобы создать публичный пользовательский интерфейс Flink. UI будет доступен по ссылке через интернет.

    • Пользователь — задайте имя пользователя для доступа к Flink UI.

    • Пароль — выберите пароль из списка секретов или создайте новый для доступа к Flink UI. Его можно будет изменить позже.

12. Нажмите Создать.

Инстанс появится в списке Managed Flink и перейдет в статус «Готов» в течение 30 минут.

После создания инстанса в выбранном бакете Object Storage появится папка «HA».

Следующие шаги

Далее вы можете создать задачу Flink или войти в интерфейс Managed Flink:

1. В списке инстансов Managed Flink откройте карточку инстанса.

2. Перейдите на вкладку Информация.

3. Перейдите по ссылке в поле Публичный хост.

4. Введите данные из карточки инстанса:

   • User — Пользователь.

   • Password — Пароль, скопируйте значение секрета.

В интерфейсе Flink можно получить всю информацию о задачах.