#Kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。

[Spring cloud 一步步实现广告系统] 21. 系统错误汇总

Isaac Zhang

衣二三 · 高级架构师 (已认证)

因为Eureka在集群启动过程中,会连接集群中其他的机器进行数据同步,在这个过程中,如果别的服务还没有启动完成,就会出现Connection refused: ...

1000

Kafka 权限管理实战【很干】

zhisheng

自0.9.0.0版本开始Kafka社区添加了许多功能用于提高Kafka群集的安全性,Kafka提供SSL或者SASL两种安全策略。SSL方式主要是通过CA令牌实...

1410

springboot实战之stream流式消息驱动

用户1410546

Spring Cloud Stream 是一个用来为微服务应用构建消息驱动能力的框架。它可以基于Spring Boot 来创建独立的,可用于生产的Spring ...

2110

探讨kafka的分区数与多线程消费

用户6072933

从这段重构的代码可以看出,KafkaStream<byte[], byte[]> stream = consumerMap.get("test").get(0)...

3630

浅谈分布式消息技术 Kafka

用户6072933

生产者(producer)是负责向Kafka提交数据的,Kafka会把收到的消息都写入到硬盘中,它绝对不会丢失数据。为了优化写入速度Kafka采用了两个技术,顺...

2720

Consumer is not subscribed to any topics

用户6072933

产生该问题的原因主要是zookeeper中存在旧版本的kafka-connect topic信息,导致新版本的kafka-connect启动异常:

1820

kafka-connect-hive sink插件入门指南

用户6072933

kafka-connect-hive是基于kafka-connect平台实现的hive数据读取和写入插件,主要由source、sink两部分组成,source部...

4540

kafka-connect-hive sink插件实现要点小结

用户6072933

kafka-connect-hive sink插件实现了以ORC和Parquet两种方式向Hive表中写入数据。Connector定期从Kafka轮询数据并将其...

1510

使用信号进制实现进程通信

暮雨

而在应用系统开发中,我们常用的方式就是消息队列和套接字两种方式。在程序中写了一个死循环,运行时,常使用 ctrl+c来中断进程。突然软件卡死了,我们无法关闭,这...

1620

SpringBoot入门建站全系列(十七)整合ActiveMq(JMS类消息队列)

品茗IT

消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下扩展进程间...

5360

招式修炼-redis事务和发布订阅

Share猿社区

这个命令唯一做的就是, 将客户端的 REDIS_MULTI 选项打开, 让客户端从非事务状态切换到事务状态。

4220

RocketMQ特性--事物消息【源码笔记】

瓜农老梁

一、问题思考 二、事务消息客户端发送流程 1.事务发送与普通启动差异 2.事务消息发送调用链 3.事务消息发送分析 4.事务消息发送结果分析 5.结束事务分析 ...

3010

openresty+lua+kafka方案与Tomcat接口并发度对比分析

小勇DW3

  之前的项目基于nginx反向代理后转发到Tomcat的API接口进行业务处理,然后将json数据打入kafka中,但是随着业务的扩大,访问量越来越大,并发数...

5020

Kafka单线程Consumer及参数详解

用户6070864

1、只需要配置kafka的server groupid autocommit 序列化 autooffsetreset(其中 bootstrap.se...

4520

从零搭建精准运营系统

左手java右手go

平台运营到一定阶段,一定会累积大批量的用户数据,这些用户数据是运营人员的黄金财产。而如何利用用户的数据来做运营(消息推送、触达消息、优惠券发送、广告位等),正是...

6730

基于磁盘的Kafka为什么这么快

用户6070864

Kafka是大数据领域无处不在的消息中间件,目前广泛使用在企业内部的实时数据管道,并帮助企业构建自己的流计算应用程序。Kafka虽然是基于磁盘做的数据存储,但却...

4720

什么是Kafka?

用户6070864

通过Kafka的快速入门 https://www.cnblogs.com/tree1123/p/11150927.html

4830

Kafka多线程Consumer

用户6070864

java consumer不是线程安全的,同一个KafkaConsumer用在了多个线程中,将会报Kafka Consumer is not safe for ...

3920

【IoT迷你赛】TencentOS tiny学习源码分析(4)——消息队列

杰杰

在前一篇文章中【IoT迷你赛】TencentOS tiny学习源码分析(3)——队列

7860

Kafka Network层解析,还是有人把它说清楚了

李红

我们知道kafka是基于TCP连接的。其并没有像很多中间件使用netty作为TCP服务器。而是自己基于Java NIO写了一套。

5220

扫码关注云+社区

领取腾讯云代金券