DeltaTable使用什么机制来确保由用户在DeltaTable上的操作启动的事务的原子性、一致性、隔离性和持久性?
发布于 2019-11-19 12:13:05
0。the DeltaLog
Deltalog =Deltalog的事务日志。
deltalog是有序json文件的集合。它作为一个单一的真相来源,使用户能够访问DeltaTable状态的最后一个版本。
1.原子性
2.一致性
一致性是由DeltaTable的强模式检查来保证的。
3.孤立
对提交的并发性进行管理,以确保它们的隔离。采用了乐观的并发控制:
DeltaTable视图,并在需要重新处理一步之后再次尝试注册提交。4.耐久性
提交包含变异DeltaTable数据的操作,需要完成对底层Parquet文件(存储在文件系统上)的写入/删除,才能被视为成功完成,从而使它们成为持久的。
进一步阅读:
https://databricks.com/blog/2019/08/21/diving-into-delta-lake-unpacking-the-transaction-log.html
https://stackoverflow.com/questions/58933866
复制相似问题