Обзор задания Flink

DLI поддерживает два типа Flink заданий:

• Flink OpenSource SQL job:
  • Он полностью совместим с Flink community edition, обеспечивая плавный запуск заданий на этих версиях Flink.
  • DLI Flink расширил поддержку коннекторов на основе Flink community edition, добавив Redis и DWS в качестве новых типов источников данных. Благодаря этому расширению вы теперь можете использовать более широкий набор типов источников данных, обеспечивая большую гибкость и удобство при работе с датасетами.
  • Flink OpenSource SQL jobs идеальны для сценариев, в которых логика потоковой обработки может быть определена и выполнена с помощью SQL‑запросов. Это упрощает потоковую обработку, позволяя разработчикам больше сосредоточиться на реализации логики сервиса.

  Инструкцию по созданию Flink OpenSource SQL job см. в Creating a Flink OpenSource SQL Job.

• Flink Jar job:
  • DLI позволяет отправлять Flink задания, скомпилированные в JAR‑файлы, обеспечивая большую гибкость и возможности настройки. Это применимо к сценариям, требующим сложной обработки данных.
  • Если коннекторы, предоставляемые Flink community edition, не удовлетворяют конкретным требованиям, вы можете использовать Jar‑задания для реализации пользовательских коннекторов или логики обработки данных.
  • Это идеально подходит для сценариев, требующих пользовательских функций (UDF) или интеграции конкретных библиотек. Вы можете использовать экосистему Flink для реализации продвинутой логики потоковой обработки и управления статусом.

  Инструкцию по созданию Flink Jar job см. в Creating a Flink Jar Job.