有一家国外的网站这样定义了实时计算,增量计算,离线计算
我们以交通工具举个例子,来类比三种计算:
搞清楚下面三个问题,就搞清楚了什么是增量计算
首先数据是要增量的入湖。
增量计算就是计算 5 分钟或者 10 分钟的数据,需要数据湖能从上次的地方继续开始消费。
需要不断的修正数据,但 hdfs 做不到修正部分数据,要修正必须全量拿过来 merge,merge 完再覆盖,有 merge 就至少是 1 小时以上的延迟了。
比如现在要计算 1 分钟之内的数据,假设现在 1 分钟的数据计算完了,然后来了一条上个 1 分钟的数据,那么就要把上 1 分钟的数据再次计算一遍,再去修改。
所以,需要数据湖有 upsert 能力。
上图中,流计算和批计算的存储是统一的,但是计算引擎是不统一的,哪天 Flink 的功能更加完善了,就可以去掉 Spark,做到真正的计算和存储流批一体。
官方对 Iceberg 的定义是一种 Open Table Format。
那什么是 table format?
我们看下面的架构: