tocdepth: 2

Как в сервисе OBS сохранить Checkpoints для пользовательского задания Flink?

В DLI есть возможность сохранять checkpoints в сервисе OBS. Ниже приведен пример кода:

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.runtime.state.filesystem.FsStateBackend;
import org.apache.flink.contrib.streaming.state.RocksDBStateBackend;

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
RocksDBStateBackend rocksDbBackend = new RocksDBStateBackend(new FsStateBackend("OBS path"), true);
env.setStateBackend(rocksDbBackend);

Путь к OBS следующий:

obs://ak:sk@obs.ru-moscow-1.hc.sbercloud.ru/bucket name/bucket directory

где:

ak и sk — ключи доступа AK/SK к учетной записи;
bucket name — название бакета OBS;
bucket directory — путь к каталогу внутри бакета.

Была ли статья полезной?

Спасибо за отзыв! Что можно улучшить?

Как в сервисе OBS сохранить Checkpoints для пользовательского задания Flink?