腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据技术架构

纯大数据技术分享，HBase/Kafka/Flink等技术栈，原理与实践，源码分析等。欢迎订阅公众号：大数据技术架构

专栏作者

149

文章

318258

阅读量

95

订阅数

重磅！Apache Kafka 3.3 发布！

我们很自豪地代表 Apache Kafka 社区宣布发布 Apache Kafka® 3.3。3.3 版本包含许多新功能和改进。这篇博文将重点介绍一些更突出的功能。有关更改的完整列表，请务必查看发行说明。

大数据技术架构

2022-12-01

8720

Lakehouse 特性对比 | Apache Hudi vs Delta Lake vs Apache Iceberg

数据湖数据库 sql apache 存储

随着 Lakehouse 的日益普及，人们对分析和比较作为该数据架构核心的开源项目的兴趣日益浓厚：Apache Hudi、Delta Lake 和 Apache Iceberg。

大数据技术架构

2022-12-01

1.5K0

Kafka 3.0 重磅发布，有哪些值得关注的特性？

kafka tcp/ip api apache java

Apache Kafka 是一个分布式开源流平台，被广泛应用于各大互联网公司。Kafka 设计之初被用于消息队列，自 2011 年由 LinkedIn 开源以来，Kafka 迅速从消息队列演变为成熟的事件流处理平台。

大数据技术架构

2021-10-21

1.9K0

不再需要ZooKeeper，Kafka 2.8将独立运行！

kafka apache zookeeper https 网络安全

分布式发布与订阅系统Apache Kafka在即将发布的2.8版本，使用Kafka内部的Quorum控制器来取代ZooKeeper，因此用户第一次可在完全不需要ZooKeeper的情况下执行Kafka，这不只节省运算资源，并且也使得Kafka效能更好，还可支持规模更大的集群。

大数据技术架构

2021-04-13

5680

AWS的湖仓一体使用哪种数据湖格式进行衔接？

apache 数据分析数据湖

此前Apache Hudi社区一直有小伙伴询问能否使用Amazon Redshift（数仓）查询Hudi表，现在它终于来了。

大数据技术架构

2020-10-10

1.9K0

Kylin 新定位：分析型数据仓库

apache hadoop 大数据数据分析 api

Apache Kylin 在 2014 年 10 月开源并加入 Apache 软件基金会的孵化器，一年后从孵化器毕业成为 Apache 顶级项目。从第一天起，Kylin 的标语是「Extreme OLAP Engine for Big Data」。五年来，Kylin 已经成为了大数据版图中一个不可或缺的角色，帮助了全球上千家企业进行高效的大数据分析。

大数据技术架构

2020-04-07

8030

Apache Hudi 架构原理与最佳实践

apache 大数据 hadoop 存储 spark

Apache Hudi代表Hadoop Upserts anD Incrementals，管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。由Uber开发并开源，HDFS上的分析数据集通过两种类型的表提供服务：读优化表（Read Optimized Table）和近实时表（Near-Real-Time Table）。

大数据技术架构

2020-03-25

5K0

深度对比delta、iceberg和hudi三大开源数据湖方案

hive 开源 apache spark 大数据

目前市面上流行的三大开源数据湖方案分别为：delta、Apache Iceberg和Apache Hudi。其中，由于Apache Spark在商业化上取得巨大成功，所以由其背后商业公司Databricks推出的delta也显得格外亮眼。Apache Hudi是由Uber的工程师为满足其内部数据分析的需求而设计的数据湖项目，它提供的fast upsert/delete以及compaction等功能可以说是精准命中广大人民群众的痛点，加上项目各成员积极地社区建设，包括技术细节分享、国内社区推广等等，也在逐步地吸引潜在用户的目光。Apache Iceberg目前看则会显得相对平庸一些，简单说社区关注度暂时比不上delta，功能也不如Hudi丰富，但却是一个野心勃勃的项目，因为它具有高度抽象和非常优雅的设计，为成为一个通用的数据湖方案奠定了良好基础。

大数据技术架构

2020-03-25

2.8K0

Apache Hudi 0.5.1版本重磅发布

spark apache scala 打包

历经大约3个月时间，Apache Hudi 社区终于发布了0.5.1版本，这是Apache Hudi发布的第二个Apache版本，该版本中一些关键点如下

大数据技术架构

2020-03-11

1.1K0

关于消息队列的优缺点，看这篇就行

apache kafka 消息队列 CMQ 版分布式 rabbitmq

如上图所示，可能存在某一个系统产生关键数据，所有系统都需要其进行提供数据，导致A系统与要提供数据系统产生耦合，系统拓展，其他系统的需求修改都会导致A系统产生修改。

大数据技术架构

2019-09-04

1K0

全文搜索引擎 Elasticsearch 还是 Solr？

Elasticsearch Service lucene/solr apache 搜索引擎开源

最近项目组安排了一个任务，项目中用到了基于 Solr 的全文搜索，但是该 Solr 搜索云项目不稳定，经常查询不出来数据，需要手动全量同步。

大数据技术架构

2019-08-16

1.2K0

Open Distro for Elasticsearch：AWS Elasticsearch 发行版

Elasticsearch Service sql apache 开源

Open Distro for Elasticsearch 是 AWS 2019年宣布开源的 Elasticsearch 发行版。Open Distro for Elasticsearch 是一款完全社区驱动、100%开源、企业级的增强版 Elasticsearch，自带包含安全、告警、SQL、深度性能分析等在内的诸多核心功能。

大数据技术架构

2019-08-16

1.6K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态