我使用的是运行在Docker上的Flink 1.2.1,任务管理器作为Docker群的一部分分布在不同的am上。使用Flink Web UI上传Apache光束应用程序并尝试在作业提交点设置并行度不起作用。两者都不会使用Flink CLI提交作业。我怀疑问题的根源可能在org.apache.beam.runners.<em
这只是一种空想的头脑风暴,不是期望具体的答案,而是希望得到一些指导。假设这可以工作,那么在重新启动作业的相同或修改版本时,修改/修复要使用的保存点中的数据的可能性如何?这样的设施已经存在了吗?我的猜测是没有,根据我到目前为止所能找到的。我该如何去完成这样的事情呢?到目前为止,我的高级想法是这样的:
save
根据Flink文档,当从S3读取数据时,配置是在集群级别上设置的。这是通过在flink - your .yaml文件上设置身份验证(这需要重新启动集群),或者将flink指向一个有效的hadoop文件,该文件还需要一个jvm/yaml参数。是否有一种方法以编程方式设置这个值,以便不同的作业具有不同的auth凭据?