Data Lake Insight Как в сервисе OBS сохранить Checkpoints для пользовательского задания Flink?
В DLI есть возможность сохранять checkpoints в сервисе OBS. Ниже приведен пример кода:
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.apache.flink.runtime.state.filesystem.FsStateBackend;import org.apache.flink.contrib.streaming.state.RocksDBStateBackend;StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();RocksDBStateBackend rocksDbBackend = new RocksDBStateBackend(new FsStateBackend("OBS path"), true);env.setStateBackend(rocksDbBackend);
Путь к OBS следующий:
obs://ak:sk@obs.ru-moscow-1.hc.sbercloud.ru/bucket name/bucket directory
где:
ak и sk — ключи доступа AK/SK к учетной записи;
bucket name — название бакета OBS;
bucket directory — путь к каталогу внутри бакета.