首页
学习
活动
专区
工具
TVP
发布

#kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。

蓝易云:Linux系统安装和使用Kafka教程。

蓝易云

安装和使用Kafka是一个相对复杂的过程,涉及多个步骤和配置。以下是一个简要的Linux系统安装和使用Kafka的指南:

400

探索ClickHouse——使用MaterializedView存储kafka传递的数据

方亮

在《探索ClickHouse——连接Kafka和Clickhouse》中,我们讲解了如何使用kafka engin连接kafka,并读取topic中的数据。但是...

3620

探索ClickHouse——连接Kafka和Clickhouse

方亮

使用kafka engine将kafka中的流映射到一个表中。我们以《探索ClickHouse——使用Projection加速查询》中的数据为例。

6230

理解Kafka offset

waynaqua

日常开发中,相信大家都对 Kafka 有所耳闻,Kafka 作为一个分布式的流处理平台,一般用来存储和传输大量的消息数据。在 Kafka 中有三个重要概念,分别...

6320

实时数仓混沌演练实践

得物技术

得物App · 技术运营 (已认证)

目前实时数仓提供的投放实时指标优先级别越来越重要,不再是单独的报表展示等功能,特别是提供给下游规则引擎的相关数据,直接对投放运营的广告投放产生直接影响,数据延迟...

6120

(六)Kafka系列:十分钟,了解Kafka的Sender线程

爪哇缪斯

在上两篇文章《连Producer端的主线程模块运行原理都不清楚,就敢说自己精通Kafka》和《一文了解Kafka的消息收集器RecordAccumulate》中...

5310

【Kafka系列】(二)Kafka的基本使用

程序员朱永胜

先说结论,Kafka 部署在 Linux 上要比 Windows 和 Mac 上性能高的多,主要是以下几个原因:

6530

kafka的controlled shutdown请求

陈猿解码

kafka基于k8s容器化部署后,对容器设置了存活探针,即检测监听端口是否存在。然而一次kill kafka进程的操作,服务的重启时间(supervisor会自...

8520

spring-kafka中ContainerProperties.AckMode详解

xindoo

贝壳 · 资深工程师 (已认证)

近期,我们线上遇到了一个性能问题,几乎快引起线上故障,后来仅仅是修改了一行代码,性能就提升了几十倍。一行代码几十倍,数据听起来很夸张,不过这是真实的数据,线上错...

8620

利用 Canal 将 MySQL 数据实时同步至 Kafka 极简教程

披头

笔者使用 Canal 将 MySQL 数据同步至 Kafka 时遇到了不少坑,还好最后终于成功了,这里分享一下极简教程,希望能帮到你。

11210

十分钟,了解Kafka的Sender线程

爪哇缪斯

在上两篇文章《连Producer端的主线程模块运行原理都不清楚,就敢说自己精通Kafka》和《一文了解Kafka的消息收集器RecordAccumulate》中...

14740

(五)Kafka系列:一文了解Kafka的消息收集器RecordAccumulator

爪哇缪斯

在上一篇文章《连Producer端的主线程模块运行原理都不清楚,就敢说自己精通Kafka》中,我们介绍了Main Thread的工作原理,那么在本篇文章中,我们...

7320

让面试官直拍大腿的回答!谈谈你对Kafka数据存储原理的理解

Tom弹架构

一位5年工作经验的小伙伴面试的时候被问到这样一个问题,说”谈谈你对Kafka数据存储原理的理解“。

8220

【Kafka系列】(一)Kafka入门

程序员朱永胜

消息引擎系统(Message Broker System)是一种中间件软件或服务,用于在分布式系统中进行异步消息传递。它提供了可靠的消息传输、消息路由和消息处理...

5910

(四)Kafka系列:连Producer端的主线程模块运行原理都不清楚,就敢说自己精通Kafka?

爪哇缪斯

在介绍Producer端原理之前,大家先对其整体架构有一个大致的了解,图示如下所示:

6330

干货 | 成本低误差小,携程基于 Kafka 的 Serverless 延迟队列的实践

携程技术

携程 · 工程师 (已认证)

Pin,关注 RPC、Service Mesh、Serverless 等云原生技术。

11340

一文了解Kafka的消息收集器RecordAccumulate

爪哇缪斯

在上一篇文章《连Producer端的主线程模块运行原理都不清楚,就敢说自己精通Kafka》中,我们介绍了Main Thread的工作原理,那么在本篇文章中,我们...

7720

Kafka接入到Graylog5.1

yuanfan2012

firewall-cmd --permanent --zone=public --add-port=2181/tcp

9230

你的消息太大,kafka受不了

小四的技术之旅

上周在进行自测的时候,kafka抛出一个RecordTooLargeException异常,从名字我们可以直接看出是消息太大了,导致发不出去而抛出异常,那么怎么...

7320

(三)Kafka系列:与Kafka的第一次亲密接触

爪哇缪斯

便于大家对本章内容的理解,我重新整理了一下Kafka中的部分重要概念,以表格的方式呈现出来,请见下表所示:

8310
领券