我想在我的Flink作业(Scala)中跨Flink的并行任务共享一个私有变量。Unit = { //myVariable is used here in the ProcessFunction}
当我使用一些并行化运行这个作业时,是否会在所有的myVariable任务之间共享一个“Flink”副本?
我已经编写了一个使用Guava缓存的Flink作业。缓存对象是在main()函数中调用的run()函数中创建和使用的。main() {}
//create and use Guava cache object here如果我以某种程度的并行性运行这个Flink作业,那么所有的并行任务会使用相同的缓存对象吗?
我将作业发送给职务经理以执行它。Flink分配,两个任务管理器--管理器--处理flatMap (因为任务管理器只有一个任务时隙)。flatMap在事件之间进行简单连接(使用两个键控状态):
public class StatefulJoinFunction extends RichCoFlatMapFunction<A,这意味着,每次状态必须更新时,任务管理器都应该保存在另一个任务管理器的状态内(在connect方法之后共享),或者它可能需要简单地读取<
我正在检查带有kafka连接器的Flink simple能否在EXACTLY_ONCE模式下执行,我的方法是创建一个表,设置合理的检查点间隔,并在event_time字段上使用一个简单的滚函数,最后重新启动我的程序event_timestamp timestamp(3), watermark for event_timestamp as ....2:按以下配置启动我的Flink作业
下午2:00,午餐作业,发送1