大数据技术架构-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据技术架构

纯大数据技术分享，HBase/Kafka/Flink等技术栈，原理与实践，源码分析等。欢迎订阅公众号：大数据技术架构

专栏成员

149

文章

352009

阅读量

96

订阅数

重磅！Apache Kafka 3.3 发布！

我们很自豪地代表 Apache Kafka 社区宣布发布 Apache Kafka® 3.3。3.3 版本包含许多新功能和改进。这篇博文将重点介绍一些更突出的功能。有关更改的完整列表，请务必查看发行说明。

大数据技术架构

2022-12-01

9460

Kafka 3.0 重磅发布，有哪些值得关注的特性？

kafka tcp/ip api apache java

Apache Kafka 是一个分布式开源流平台，被广泛应用于各大互联网公司。Kafka 设计之初被用于消息队列，自 2011 年由 LinkedIn 开源以来，Kafka 迅速从消息队列演变为成熟的事件流处理平台。

大数据技术架构

2021-10-21

1.9K0

盘点Hadoop生态中 6 个核心的大数据组件

分布式 kafka hadoop es 存储

大数据生态圈中有很多优秀的组件，可谓琳琅满目，按组件类别可分为存储引擎、计算引擎，消息引擎，搜索引擎等；按应用场景可分为在线分析处理OLAP型，在线事务处理OLTP型，以及混合事务与分析处理HTAP型等。有些组件主要存储日志数据或者只允许追加记录，有些组件可更好的支持CDC或者upsert数据。有些组件是为离线分析或批处理而生，有些则更擅长实时计算或流处理。本文整理了几个笔者认为非常重要且仍然主流的核心组件，供参考。

大数据技术架构

2021-07-29

2.8K0

Flink + Iceberg 在去哪儿的实时数仓实践

hive flink 大数据 kafka 数据库

摘要：本文介绍去哪儿数据平台在使用 Flink + Iceberg 0.11 的一些实践。内容包括：

大数据技术架构

2021-07-05

1K0

不再需要ZooKeeper，Kafka 2.8将独立运行！

kafka apache zookeeper https 网络安全

分布式发布与订阅系统Apache Kafka在即将发布的2.8版本，使用Kafka内部的Quorum控制器来取代ZooKeeper，因此用户第一次可在完全不需要ZooKeeper的情况下执行Kafka，这不只节省运算资源，并且也使得Kafka效能更好，还可支持规模更大的集群。

大数据技术架构

2021-04-13

5980

Kafka 面试真题及答案，建议收藏

kafka 消息队列 CMQ 版

Kafka可以说是必知必会的了，首先面试大数据岗位的时候必问kafka，甚至现在java开发岗位也会问到kafka一些消息队列相关的知识点。先来看看有哪些最新的Kafka相关面试点：

大数据技术架构

2020-06-05

3K0

干货 | Kafka 内核知识梳理，附思维导图

kafka 消息队列 CMQ 版

前面我们已经分享过几篇Kafka的文章，最近简单梳理了下Kafka内核相关的知识，涵盖了Kafka架构总结，副本机制，控制器，高水位机制，日志或消息存储，消息发送与消费机制等方面知识。文末含对应的Kafka内核思维导图，供参考。

大数据技术架构

2020-05-29

1.5K0

Hudi原理 | Apache Hudi 典型应用场景介绍

hadoop kafka spark 存储数据库

将数据从外部源如事件日志、数据库提取到Hadoop数据湖中是一个很常见的问题。在大多数Hadoop部署中，一般使用混合提取工具并以零散的方式解决该问题，尽管这些数据对组织是非常有价值的。

大数据技术架构

2020-05-25

2.6K0

Kafka是如何利用零拷贝提高性能的

kafka 消息队列 CMQ 版

Kafka 在执行消息的写入和读取这么快的原因，其中的一个原因是零拷贝（Zero-copy）技术，下面我们来了解一下这么高效的原因。

大数据技术架构

2020-04-27

1.4K0

Kafka精进 | Producer端核心参数及调优建议

在前面文章《Kafka精进 | 一文读懂Producer消息发送机制》中，我们从Kafka消息结构、序列化器、分区器及消息缓冲池等方面介绍了Producer端的原理，回顾示意图如下：

大数据技术架构

2020-04-22

6070

实时数仓 | 你想要的数仓分层设计与技术选型

大数据 flink kafka 数据可视化 sql

数据仓库概念的提出都要追溯到上世纪了，我们认为在大数据元年之前的数仓可以称为传统数仓，而后随着海量数据不断增长，以及Hadoop生态不断发展，主要基于Hive/HDFS的离线数仓架构可以兴起并延续至今，近几年随着Storm/Spark（Streaming）/Flink等实时处理框架的更新迭代乃至相互取代，各厂都在着力构建自己的实时数仓，特别是近两年，随着Flink声名鹊起，实时数仓更是名声在外并且还在不断快速发展。

大数据技术架构

2020-04-21

11.1K0

Kafka精进 | Broker服务端核心参数解析

关于Kafka，我们在之前的文章里也介绍，简而言之Kafka是一个分布式消息引擎与流处理平台，经常用做企业的消息总线、实时数据管道，有时还可以当做存储系统来用。基本架构如下：

大数据技术架构

2020-04-21

1.3K0

如何快速全面掌握Kafka？5000字吐血整理

Kafka 是目前主流的分布式消息引擎及流处理平台，经常用做企业的消息总线、实时数据管道，本文挑选了 Kafka 的几个核心话题，帮助大家快速掌握 Kafka，包括：

大数据技术架构

2020-03-13

2.2K0

Apache Kafka 版本演进及特性介绍

前段时间有一个同事问到：Kafka 0.8.2 只能使用Zookeeper连接吗？虽然仍有一部分Kafka的老用户在使用 0.8.x 版本，但 Kafka 0.8.x 确实是比较老的版本了。如果不是对Kafka非常熟悉，很容易忽略各个版本之间的差异，也不会清楚某个版本的特点及使用方式。本文我们就一起学习下Kafka的历史版本演进，增加我们对Kafka的了解，对于Kafka的技术选型也具有指导意义。

大数据技术架构

2020-03-11

5K0

穿梭时空的实时计算框架——Flink对于时间的处理

大数据 unix windows kafka

Flink对于流处理架构的意义十分重要，Kafka让消息具有了持久化的能力，而处理数据，甚至穿越时间的能力都要靠Flink来完成。

大数据技术架构

2019-09-08

9780

关于消息队列的优缺点，看这篇就行

apache kafka 消息队列 CMQ 版分布式 rabbitmq

如上图所示，可能存在某一个系统产生关键数据，所有系统都需要其进行提供数据，导致A系统与要提供数据系统产生耦合，系统拓展，其他系统的需求修改都会导致A系统产生修改。

大数据技术架构

2019-09-04

1.3K0

史上最详细Kafka原理总结 | 建议收藏

kafka 消息队列 CMQ 版 zookeeper 数据处理

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

大数据技术架构

2019-08-28

3.3K0

干货 | 盘点Zookeeper在分布式架构中的应用

zookeeper kafka hbase lucene/solr TDSQL MySQL 版

近日了解到 Kafka 正在酝酿重大更新，可能会提供自管理的元数据仲裁机制以消除对 Zookeeper 的依赖，社区呼吁也相当强烈。那么一般而言 Zookeeper 在分布式系统中扮演什么角色？目前 Zookeeper 都应用在哪些分布式架构中？本文从 Zookeeper 可以聊起，盘点那些离不开 Zookeeper 的分布式技术架构！

大数据技术架构

2019-08-16

6010

kafka篇-设计思路

许多互联网公司，每天都会产生大量的日志数据，包括用户行为记录、运营指标、系统运行状况的监控数据等。为了分析用户的行为或者监控系统的状态，需要对这些数据进行周期性的分析和统计。

大数据技术架构

2019-08-16

7220

细数 MQ 那些不得不说的 8 大好处

消息队列 CMQ 版 kafka

消息队列（MQ）是目前系统架构中主流方式，在大型系统及大数据中广泛采用。对任何架构或应用来说， MQ都是一个至关重要的组件。今天我们就来细数MQ那些不得不说的好处。

大数据技术架构

2019-08-16

4010

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态