首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Apache Hadoop版本详解

1.Apache HadoopApache版本衍化 截至目前(2012年12月23日),ApacheHadoop版本分为两代,我们将第一代Hadoop称为Hadoop 1.0,第二代Hadoop称为Hadoop2.0...Apache版本下载 (1)各版本说明:http://hadoop.apache.org/releases.html。 (2)下载稳定版:找到一个镜像,下载stable文件夹下的版本。...2.Cloudera HadoopCDH版本衍化 Apache当前的版本管理是比较混乱的,各种版本层出不穷,让很多初学者不知所措,相比之下,Cloudera公司的Hadoop版本管理的要很多。...我们知道,Hadoop遵从Apache开源协议,用户可以免费地任意使用和修改Hadoop,也正因此,市面上出现了很多Hadoop版本,其中比较出名的一是Cloudera公司的发行版,我们将该版本称为CDH...截至目前为止,CDH共有4个版本,其中,前两个已经不再更新,最近的两个,分别是CDH3(在Apache Hadoop0.20.2版本基础上演化而来的)和CDH4在Apache Hadoop2.0.0版本基础上演化而来的

3K20
您找到你想要的搜索结果了吗?
是的
没有找到

Apache Hudi 0.9.0 版本发布

下载信息 源码地址: Apache Hudi 源码 版本相关jar包: here 版本迁移指南 如果从旧版本进行迁移,还请检查下面每个后续版本的升级说明 在0.9.0中,Hudi添加了更多的表属性...类似地,还添加了一个用于降级的命令行工具(command-downgrade),因为可能有些用户想要将Hudi从表版本2降级到表版本1,或者从Hudi 0.9.0移动到0.9.0之前。...版本亮点 Spark SQL DDL/DML支持 Apache Hudi 0.9.0实验性地支持使用Spark SQL进行DDL/DML操作,朝着让所有用户(非工程师、分析师等)更容易访问和操作Hudi...org.apache.hudi.client.validator.SqlQueryEqualityPreCommitValidator[8]可用于验证提交前后行的数据行相同 org.apache.hudi.client.validator.SqlQueryInequalityPreCommitValidator...通过支持不同的 Hive 版本(1.x、2.x、3.x),大大改善了 Hive 同步。

1.3K20

Apache Druid 0.15.0版本发布

0.15.0版本具有250多项新功能和性能/稳定性/文档增强功能。与往常一样,请访问Apache Druid下载页面以获取该软件和发行说明。...01 一个新的Data Loader Apache社区对Druid的一个共同需求是简化数据摄取过程,在本版本之前这个过程是需要手动配置数据摄取任务的。...这些支持会在后续的版本中逐渐放出。如果您现在就要对接这些实时数据,可以参考使用Apache Druid Kafka Indexing Service或其他Druid的服务来完成实时数据的加载。...02 Druid 的 SQL 能力的增强 Apache Druid在0.10.0版本推出了实验性的Druid SQL, 现在它可以作为一个标准的查询接口,你几乎可以抛弃以往的使用Druid经典查询方法(...从0.10.0版本开始,Druid的每一个版本都在完善对SQL的支持能力,在0.15版本中也不例外。

2.3K10

【重磅】Apache InLong(incubating) 发布 0.10.0 版本

Apache InLong(incubating) 刚刚发布了 0.10.0 版本,该版本是升级为 InLong(应龙) 后的第二个版本,着力解决InLong应用门槛高问题。...PART TWO Apache InLong(incubating) 0.10.0版本简介 我们从上个版本( 0.9.0 )始,将 TubeMQ 升级为 InLong ,第一次将全链路数据接入能力开源出来...PART FOUR Apache InLong(incubating) 后续规划 在 InLong 后续版本规划中,我们会进一步释放 InLong 的能力,覆盖更多的使用场景,主要包括 支持 Apache...在过去的一个版本Apache InLong 新增国内外贡献者 6 名,实现快速增长。...Apache 社区 2019年11月3日,进入 Apache 社区孵化 2020年5月30日,按照 Apache 社区规范发布第一个社区版本 2020年12月20日,进行项目改名讨论和投票 2021年

49310

Apache Kafka 版本演进及特性介绍

比如Kafka 2.1.1,大版本就是2,小版本是1,Patch版本为1,是为修复Bug发布的第1个版本。...截止目前,最新版本是Kafka 2.4.0,也是最新稳定版本。 0.7.x版本 这是很老的Kafka版本,它只有基本的消息队列功能,连消息副本机制都没有,不建议使用。...新旧版本Producer API如下: //旧版本Producer kafka.javaapi.producer.Producer //新版本Producer org.apache.kafka.clients.producer.KafkaProducer...选择一个自己熟悉且稳定的版本,如果说没有比较熟悉的版本,建议选择一个较新且稳定、使用比较广泛的版本。...主要参考: 1. https://www.cnblogs.com/huxi2b/ 2. http://kafka.apache.org/downloads及相关的Release记录 本文重点总结了Kafka

4.9K30

Apache Hudi 0.8.0版本重磅发布

解锁Apache Flink读写Apache Hudi新姿势 1.2 并发写 单表支持并发写特性在Hudi社区呼声比较高,0.8.0版本Hudi使用乐观锁并发控制支持多客户端并发写同一张表,Hudi支持文件级别乐观锁并发控制...迁移指南 •如果从小于0.5.3版本迁移,请参考每个版本迁移指南•0.6.0版本之后未引入新的表版本•HoodieRecordPayload接口被标记为deprecated,重新引入了包含properties...参数的接口,欢迎迁移至新接口,老接口将在0.9.0版本移除,请尽快迁移。...总结 0.8.0版本与Flink做了更深度的集成,借助Flink和Hudi构建更实时的数据湖,同时0.8.0版本还支持了Flink和Spark的流批读写,Hudi可作为流批一体的统一数据存储层。...感谢 感谢参与0.8.0版本的所有贡献者,欢迎广大数据湖爱好者加入Apache Hudi社区,欢迎star & fork https://github.com/apache/hudi 源码下载 •源码下载

71820

Apache Hudi 0.10.0版本重磅发布!

在发布的Apache Hudi 0.10.0版本中共解决了388个issue,包括众多重磅特性支持以及Bug修复。 1....因此我们添加了一个修复工具来清理任何不属于已完成提交的悬空数据文件,如果您在 0.10.0 版本中遇到问题,请通过 hudi-utilities 包中的 org.apache.hudi.utilities.HoodieRepairTool...迁移指南 •如果从旧版本迁移,请同时查看下面每个版本的迁移指南。•在 0.10.0 中,我们对元数据表进行了一些基础性修复,因此作为升级的一部分,任何现有的元数据表都会被清理。...每当 Hudi 使用更新的表版本启动时,即 3(或从更早版本升级到 0.10.0),升级步骤将自动执行,由于 hoodie.table.version 将在升级完成后在属性文件中更新,因此每个 Hudi...://hudi.apache.org/docs/next/concurrency_control [10] Marker机制: https://hudi.apache.org/blog/2021/08/

2.4K20

Apache InLong(incubating) 发布0.11.0版本

刚刚发布的 0.11.0-incubating 版本是改名之后的第三个版本,这个版本: 进一步降低用户的使用门槛,支持 InLong 所有模块 on Kubernets,并且对官网进行了重构,用户可以更加方便地查阅相关文档...注:InLong 0.11.0 后台增加了对 Apache Pulsar 的支持,全链路数据流和管控工作会在下个版本完成。...InLong(incubating) 后续规划 在 InLong 后续版本中,我们会进一步释放 InLong 的能力,覆盖更多的使用场景,主要包括: 支持 Apache Pulsar 全链路数据接入能力...以下为 InLong 项目的时间线: 2021年11月5日,发布 0.11.0 版本 2021年9月3日,发布 0.10.0 版本 2021年7月12日,发起更名后第一个版本 0.9.0 投票 2021...年4月11日,完成社区改名,改为 Apache InLong 2021年2月11日,发起社区改名变更申请 2020年12月20日,进行项目改名讨论和投票 2020年5月30日,按照 Apache 社区规范发布第一个社区版本

52660

Apache Hudi 0.12.0版本重磅发布!

此限制将在未来的版本中放宽,可以在 HUDI-4500 中跟踪此功能的开发。...在0.12.0版本中,新添加基于文件系统的锁。不像需要其他锁提供者中的外部系统,此实现基于原子获取/释放锁底层文件系统的创建/删除操作。...迁移指南 在此版本中,下面列出了一些 API 和配置更新,这些更新保证了新的表格版本。因此,最新的表版本[7]是 5。对于旧版本的现有 Hudi 表,将自动执行一次性升级步骤。...从此版本开始,如果未设置此配置并启用 Hive 同步,则将根据分区字段数以及是否启用 Hive 样式分区自动推断分区值提取器类。...) [7] 表版本: [https://github.com/apache/hudi/blob/bf86efef719b7760ea379bfa08c537431eeee09a/hudi-common/

1.5K10
领券