Задания Flink

Создание задания Flink SQL

1. Выберите EI Enterprise Intelligence → Data Lake Insight.

2. В боковом меню слева выберите Job Management → Flink Jobs.

3. Нажмите кнопку Create Job.

   

4. В данном окне заполните следующие поля и нажмите кнопку ОК:

   1. Type — можно выбрать один из типов задания:

      • Flink SQL — выберите данный тип для создания потокового задания Flink SQL. Задания Flink SQL поддерживают разработку запросов Flink SQL с помощью редактора SQL.

      • Flink Jar — данный тип задания для выполнения вторичной разработки на основе API Flink. Нужно создать JAR-файл и отправить этот файл в DLI.

      См.также

      Подробнее смотрите в разделе Создание задания Flink JAR.

   2. Name — укажите имя задания.

   3. Description — введите описание.

   4. Template Name (только для Flink SQL) — можно выбрать один из системных или пользовательских шаблонов. Для его выбора начинайте вводить его наименование (или его часть).

   

5. Вы перейдете на страницу создания задания. Введите или вставьте код в окно редактора.

6. Для сохранения задания доступны следующие опции:

   1. Start — запуск задания. В новом окне нажмите Start Now и задание будет создано и запущено.

   2. Save — сохранение произведенных изменений.

   3. Save As — сохранить текущий вариант в новом задании. В новом окне в поле Name укажите имя нового задания, в поле Description — описание задание и нажмите кнопку ОК.

   

7. Для работы с кодом доступны следующие опции:

   1. Check Semantics — отлаживать или запускать задание можно только после успешной семантической проверки.

      При успешно завершенной проверке появится сообщение «The SQL semantic verification is complete. No error.».

      Если проверка завершится неудачно, то перед строками с ошибками отобразится красная метка . Для просмотра ошибки подведите курсор к данной метке.

   2. Debug — функция отладки заданий помогает проверить логическую корректность SQL запроса перед запуском задания.

      См.также

      Подробнее о данной функции смотрите в статье Debugging a Job .

   3. Format — форматирование SQL запросов в окне редактирования.

   4. Set as Template — сохранить текущий вариант в качестве шаблона. В новом окне в поле Name укажите имя шаблона, в поле Description — описание задания и нажмите кнопку ОК.

   5. Theme Settings — установите связанные с темой параметры, включая размер шрифта, wrap и стиль страницы (темная или светлая тема).

   6. Help — подборка статей в Help Center по синтаксису SQL.

   

8. Можно настроить следующие параметры в окне справа на вкладке Running Parameters:

   1. CUs — укажите количество вычислительных единиц (CU). Один CU состоит из 1 vCPU и 4 ГБ памяти.

   2. Job Manager CUs — укажите количество CU блока управления.

   3. Max Concurrent Jobs — укажите максимальное количество выполняемых одновременно заданий Flink SQL.

      Важно

      Верхний предел этого значения в четыре раза больше числа CU (CUs — Job Management CUs). Рекомендованное значение — в один-два раза больше числа CU. Обратите внимание, что значение, настроенное в коде, должно иметь приоритет над значением, установленным в данном поле.

      

   4. Task Manager Configuration — активируйте чек-бокс, если нужно установить параметры ресурсов Диспетчера задач (Task Manager), такие как:

      • CU(s) per TM — количество ресурсов, занятых каждым Диспетчером задач.

      • Slot(s) per ТМ — количество слотов, содержащихся в каждом Диспетчере задач.

   5. Save Job Log — активируйте чек-бокс, если нужно сохранять журналы выполнения задания в корзине OBS. В этом случае укажите корзину OBS для хранения журналов. Если корзина не авторизована, то появится соответствующее сообщение — нажмите Authorize и затем кнопку ОК.

   6. Alarm Generation upon Job Exception — активируйте чек-бокс, если нужно направлять сообщение об ошибках при выполнении заданий по электронной почте. Выберите из списка тему SMN. Если нужной темы нет, то нажмите Configure Topic.

      

   7. Enable Checkpointing — активируйте чек-бокс, если нужно включить опцию снимков (snapshots) заданий. Если эта функция включена, задания могут быть восстановлены на определенные моменты времени (checkpoints).

      Укажите следующие параметры:

      • Checkpoint Interval — это количество секунд между созданием новых контрольных точек (checkpoints). Укажите значение параметра от 1 до 999999. Значение по умолчанию — 10.

      • Checkpoint Mode — можно выбрать на одно из следующих значений: «At least once» (события обрабатываются минимум один раз) или «Exactly once» (события обрабатываются только один раз).

      • OBS Bucket — выберите корзину OBS для хранения контрольных точек (checkpoints). Если корзина не авторизована, то появится соответствующее сообщение — нажмите Authorize и затем кнопку ОК.

      

   8. Auto Restart upon Exception — активируйте чек-бокс, если нужно включить автоматическую перезагрузку в случае ошибок в задании.

      При выборе данного параметра можно также включить опцию восстановления задания из контрольной точки (активируйте чек-бокс Restore Job from Checkpoint, но только при включенной опции Enable Checkpointing).

   9. Idle State Retention Time — выберите время без обновления статуса. Значение по умолчанию — 1 hour.

   10. Dirty Data Policy — выберите из списка политику обработки измененных данных. Поддерживаются следующие виды политик: «Ignore», «Trigger a job exception» и «Save».

       Примечание

       При выборе «Save» измененные данные будут храниться в корзине OBS, указанной выше.

   11. Queue — выберите из списка нужную очередь. По умолчанию выбрана «Shared queue».

       При выборе пользовательской очереди нужно указать JAR-пакет в поле UDF Jar. Чтобы пакет появился в списке он должен быть загружен в корзину OBS через раздел Data Management → Package Management.

       

9. Можно также настроить следующие параметры в окне справа на вкладке Debugging Parameters

   1. Dump Bucket — выберите корзину OBS для хранения журналов отладки. Если корзина не авторизована, то появится соответствующее сообщение — нажмите Authorize и затем кнопку ОК.

   2. Data Input Mode — выберите одно из значений: «OBS (CSV)» или «Manual typing».

   3. Start Debugging — нажмите кнопку для начала процедуры отладки.

   

Создание задания Flink JAR

1. Выберите EI Enterprise Intelligence → Data Lake Insight.

2. В боковом меню слева выберите Job Management → Flink Jobs.

3. Нажмите кнопку Create Job.

   

4. В данном окне заполните следующие поля и нажмите кнопку ОК:

   1. Type — можно выбрать один из типов задания:

      • Flink SQL — тип для создания потокового задания Flink SQL. Задания Flink SQL поддерживают разработку запросов Flink SQL с помощью редактора SQL.

      • Flink Jar — выберите данный тип задания для выполнения вторичной разработки на основе API Flink.

   2. Name — укажите имя задания.

   3. Description — введите описание.

   

5. Вы перейдете на страницу создания задания. Заполните следующие поля и нажмите кнопку Start, Save или Save As.

   1. Application — выберите или создайте пакет с приложением.

   2. Main Class — оставьте класс по умолчанию (Default) или укажите в поле Class Name имя главного класса (Manually assign).

   3. Class Arguments — перечислите через пробел аргументы указанного класса.

   4. JAR Package Dependencies — выберите из списка JAR-файл.

   5. Other Dependencies — выберите из списка нужный файл.

   6. Image — выберите из списка образ и его версию. Если нужного образа нет, то загрузите его через сервис SWR — нажмите Configure Image.

   

   7. CUs — укажите количество вычислительных единиц (CU). Один CU состоит из 1 vCPU и 4 ГБ памяти.

   8. Job Manager CUs — укажите количество CU блока управления.

   9. Max Concurrent Jobs — укажите максимальное количество выполняемых одновременно заданий Flink SQL.

      Примечание

      Верхний предел этого значения в четыре раза больше числа CU (CUs — Job Management CUs). Рекомендованное значение — в один-два раза больше числа CU. Обратите внимание, что значение, настроенное в коде, должно иметь приоритет над значением, установленным в данном поле.

      

   10. Task Manager Configuration — активируйте чек-бокс, если нужно установить параметры ресурсов Диспетчера задач (Task Manager), такие как:

       • CU(s) per TM — количество ресурсов, занятых каждым Диспетчером задач.

       • Slot(s) per ТМ — количество слотов, содержащихся в каждом Диспетчере задач.

   11. Save Job Log — активируйте чек-бокс, если нужно сохранять журналы выполнения задания в корзине OBS. В этом случае укажите корзину OBS для хранения журналов. Если корзина не авторизована, то появится соответствующее сообщение — нажмите Authorize и затем кнопку ОК.

   12. Alarm Generation upon Job Exception — активируйте чек-бокс, если нужно направлять сообщение об ошибках при выполнении заданий по электронной почте. Выберите из списка тему SMN. Если нужной темы нет, то нажмите Configure Topic.

   13. Auto Restart upon Exception — активируйте чек-бокс, если нужно включить автоматическую перезагрузку в случае ошибок в задании.

   14. Queue — выберите из списка нужную очередь.

       Примечание

       Задания Flink JAR могут использовать только очереди общего назначения (For general purpose).

       

Управление разрешениями на задания Flink

1. Выберите EI Enterprise Intelligence → Data Lake Insight.

2. В области навигации слева выберите Job Management → Flink Jobs.

3. В строке с нужным заданием нажмите More и выберите из списка Manage Permissions.

   

4. Для выдачи разрешения нажмите кнопку Grant Permission.

   

5. В поле Username введите имя нужного пользователя и активируйте чек-боксы с операциями, на которые даете разрешение, и нажмите кнопку ОК.

   

6. Для изменения разрешения в строке с нужным пользователем нажмите Set Permission.

   

7. Активируйте/деактивируйте чек-боксы с операциями и нажмите кнопку ОК.

   

8. Для отзыва разрешений в строке с пользователем нажмите Revoke Permission.

   

9. Нажмите кнопку ОК.

   

Экспорт заданий Flink

1. Выберите EI Enterprise Intelligence → Data Lake Insight.

2. В области навигации слева выберите Job Management → Flink Jobs.

3. В правом верхнем углу экрана нажмите Export Job.

   

4. Выберите корзину и папку (при необходимости), в которую будет выгружено задание. Нажмите кнопку Next.

   

5. Активируйте чек-бокс Custom Export и выберите задания к экспорту. Нажмите кнопку Confirm.

   

6. В окне будет представлен результат экспорта задания. Нажмите кнопку Close. Архив можно скачать из указанного пути в сервисе Object Storage Service.

   

Импорт заданий Flink

1. Выберите EI Enterprise Intelligence → Data Lake Insight.

2. В области навигации слева выберите Job Management → Flink Jobs.

3. В правом верхнем углу экрана нажмите Import Job.

   

4. Выберите путь к файлу в корзине OBS, который будет загружен в сервис DLI. Нажмите кнопку Next.

   

   Примечание

   Можно импортировать только ZIP-файл экспортированный в OBS ранее.

5. Активируйте чек-бокс Overwrite job of the same name для перезаписи задания, если данное задание с подобным именем есть в списке. Нажмите кнопку Next.

   

6. Подтвердите импорт задания — нажмите кнопку Confirm.

   

Изменение задания Flink

1. Выберите EI Enterprise Intelligence → Data Lake Insight.

2. В области навигации слева выберите Job Management → Flink Jobs.

3. В строке с нужным заданием нажмите Edit.

   

4. На странице редактирования можно изменить код задания и выполнить операции аналогичные при создании задания Flink. После внесения изменений нажмите кнопку Save или Save as (для сохранения копии данного задания).

   

Удаление задания Flink

1. Выберите EI Enterprise Intelligence → Data Lake Insight.

2. В области навигации слева выберите Job Management → Flink Jobs.

3. Активируйте чек-бокс с нужным заданием и нажмите кнопку Delete или в строке с нужным заданием нажмите More и выберите из списка Delete.

   

4. Нажмите кнопку ОК.

   

Была ли статья полезной?

Да Нет

НазадЗадания SQL

ДалееЗадания Spark