当flink作业集群(deployment/ pod )在kubernetes上运行时,我们删除了jobmanager和taskmanager(kubectl delete Pod XXX)。我们发现,在pod运行正常后,从PVC挂载rocksDB和检查点文件路径的pod中缺少该状态。在pod运行后,是否有恢复状态的建议?我仔细检查了代码。我发现检查点未启用。是不是作业无法恢复的根本原因?
环境设置如下
RocksDBStateBackend backend = new RocksDBStateBackend(checkPointDataUri + "/checkpoint",
Q: What is the largest possible size of an ext3 filesystem and of files on ext3?
Ext3 can support files up to 1TB. With a 2.4 kernel the filesystem size is limited by the maximal block device size, which is 2TB. In 2.6 the maximum (32-bit CPU) limit is of block devices is 16TB, but ext3 supports on
在我们的项目中,我使用结构化流+ Kafka进行实时数据分析。我用的是火花2.2,卡夫卡0.10.2。
在应用程序启动时,在从检查点恢复流查询时,我面临一个问题。由于有来自单个kafka流点的多个流查询,而且每个流查询都有不同的校验点目录。因此,在作业失败的情况下,当我们重新启动作业时,会有一些流查询无法从检查点位置恢复,从而抛出读取增量文件的错误异常。以下是日志:
Job aborted due to stage failure: Task 2 in stage 13.0 failed 4 times, most recent failure: Lost task 2.3 in stage
我们计划在悉尼的另一个办公室建立一个SVN镜像存储库。我们在两个位置都使用VisualSVN服务器v2.5.7。
我决定用svnsync做这件事。起初,我想同步我们所有的存储库,当所有存储库都与镜像存储库同步时,调度程序将在每到午夜调用svnsync。
它可以同步我们的一个存储库的167个版本。但是在168版本中,我们有一个无法同步的大文件(大约250 MB的压缩甲骨文文件)。即使我修改了本地和远程服务器的超时,它也不能工作。它在某一点上停留了大约一个小时,给出了以下错误:
传输文件数据.......................svnsync: E175002: PUT of '