首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Apache Hudi 0.15.0 版本发布

    迁移指南 此版本保留与 0.14.0 版本相同的表版本 (6),如果从 0.14.0 升级,则无需升级表版本。...有一些模块和 API 更改以及行为更改,如下所述,用户在使用 0.15.0 版本之前应采取相应的操作。 如果从旧版本(0.14.0 之前)迁移,请按顺序查看每个旧版本的升级说明。...该配置现已弃用,并将在下一个版本后删除。...此配置可用于 kafka 主题更改等场景,在这些场景中,我们希望在切换主题后从最新或最早的偏移量开始引入(在这种情况下,我们希望忽略先前提交的检查点,并依赖其他配置来选择起始偏移量)。...引用链接 [1] 版本亮点: [https://hudi.apache.org/releases/release-0.15.0/#release-highlights](https://hudi.apache.org

    53510

    Apache Hudi 0.9.0 版本发布

    下载信息 源码地址: Apache Hudi 源码 版本相关jar包: here 版本迁移指南 如果从旧版本进行迁移,还请检查下面每个后续版本的升级说明 在0.9.0中,Hudi添加了更多的表属性...类似地,还添加了一个用于降级的命令行工具(command-downgrade),因为可能有些用户想要将Hudi从表版本2降级到表版本1,或者从Hudi 0.9.0移动到0.9.0之前。...版本亮点 Spark SQL DDL/DML支持 Apache Hudi 0.9.0实验性地支持使用Spark SQL进行DDL/DML操作,朝着让所有用户(非工程师、分析师等)更容易访问和操作Hudi...org.apache.hudi.client.validator.SqlQueryEqualityPreCommitValidator[8]可用于验证提交前后行的数据行相同 org.apache.hudi.client.validator.SqlQueryInequalityPreCommitValidator...通过支持不同的 Hive 版本(1.x、2.x、3.x),大大改善了 Hive 同步。

    1.3K20

    Apache Hudi 1.0.0 版本正式发布

    Apache Hudi 1.0.0 是 Apache Hudi 的一个重要里程碑版本。此版本包含重要的格式更改和令人兴奋的新功能。 迁移指南 我们鼓励用户首先在新表上试用 1.0.0 功能。...此版本带有向后兼容的写入功能,即1.0.0可以写入表版本8(最新)和较旧的表版本6(对应于0.14及以上)格式。完全支持从 0.x 版本自动升级表,从而最大限度地减少迁移挑战。...与旧格式的兼容性 • **向后兼容写入:**Hudi 1.0写入现在支持以表格版本8(最新)和较旧的表格版本6(对应于0.14及以上)格式写入,确保与现有设置无缝集成。...具体来说,支持三种合并模式作为表级配置: • COMMIT_TIME_ORDERING:合并只是选择属于最新写入 (提交时间) 的记录作为合并结果。...-78.md#support-matrix-for-different-readers-and-writers [4] 0.15.0 版本中: https://hudi.apache.org/releases

    12010

    Apache Kylin最新的Streaming OLAP实现

    Apache Kylin是第一个来自中国的Apache顶级开源项目,连续两年获得了InfoWorld最佳开源大数据工具奖,2016年更是与Google TensorFlow一起获得该奖。...Apache Kylin的架构 我们会要求把数据放在Hadoop上,用Hive呈现出来。在Kylin里面定义整个元数据,在一个企业里面不是工程师去做,而应该是BI人员或者分析师去做。...当然,这里带来的问题是要写很多的手工配置,如下图是1.5版本。 在2016年11月的时候改了很多东西。最开始是怎么处理的?...其他的改进: 自动寻找开始和结束的offset 支持嵌套式JSON消息 支持自定义时间格式 允许多segment并行构建/合并 通过Rest API触发 Kylin Streaming 先决条件 Kafka版本不能太低...声明:"Apache and Apache Kylin are either registered trademarks or trademarks of The Apache Software Foundation

    1.1K70
    领券