腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Spark学习技巧

本公众号主要分享Spark使用及源码，spark 机器学习，图计算，同时会涉及到hadoop家族。

专栏作者

810

文章

1219760

阅读量

247

订阅数

Kafka 原理以及分区分配策略剖析

消息队列 CMQ 版 kafka node.js 文件存储

Apache Kafka 是一个分布式的流处理平台（分布式的基于发布/订阅模式的消息队列【Message Queue】）。

Spark学习技巧

2021-08-24

3470

kafka面试总结

node.js kafka 消息队列 CMQ 版

转自：https://www.cnblogs.com/threecha/p/13737421.html

Spark学习技巧

2021-03-05

6770

java实操｜mysql数据增量同步到kafka

kafka 消息队列 CMQ 版数据库云数据库 SQL Server 网站

生产中由于历史原因web后端，mysql集群，kafka集群(或者其它消息队列)会存在一下三种结构。

Spark学习技巧

2021-03-05

2.2K0

实时数据仓库必备技术：Kafka知识梳理

kafka 消息队列 CMQ 版 rabbitmq apache node.js

为什么使用消息队列? •解耦•异步•削峰 (1) 解耦现有系统A, B, C, 系统B和C需要系统A的数据, 然后我们就修改系统A的代码, 给系统B, C发送数据. 这时系统D也需要系统A的数据,

Spark学习技巧

2021-03-05

7970

马蜂窝消息总线——面向业务的消息服务设计

消息队列 CMQ 版 php 微服务 rabbitmq

蜂窝消息总线于 2017 年 11 月份上线，截至目前，已经被电商、酒店、大交通、社区等多个技术团队投入到生产环境的使用中。

Spark学习技巧

2019-11-28

1.6K0

通过源码分析Producer性能瓶颈

网站 kafka 消息队列 CMQ 版

本文，kafka源码是以0.8.2.2，虽然版本相对比较老，但是阅读还是很有必要的。主要是java的kafka生产者源码，Broker接收到producer请求之后处理的相关源码。估计源码内容是比较多的，只给出大致逻辑，主类和函数名称。本文的目的是让大家，彻底了解发送消息到kafka的过程及如何对producer进行调优。没耐心的小伙伴底部总结可以直接阅读。

Spark学习技巧

2019-07-09

5610

重磅发布：Kafka迎来1.0.0版本，正式告别四位数版本号

api kafka 消息队列 CMQ 版分布式 https

Kafka 从首次发布之日起，已经走过了七个年头。从最开始的大规模消息系统，发展成为功能完善的分布式流式处理平台，用于发布和订阅、存储及实时地处理大规模流数据。来自世界各地的数千家公司在使用 Kafka，包括三分之一的 500 强公司。Kafka 以稳健的步伐向前迈进，首先加入了复制功能和无边界的键值数据存储，接着推出了用于集成外部存储系统的 Connect API，后又推出了为实时应用和事件驱动应用提供原生流式处理能力的 Streams API，并于今年春季开始支持仅一次处理语义。如此广泛的应用和完备的功

Spark学习技巧

2018-01-31

9940

Kafka源码系列之通过源码分析Producer性能瓶颈

kafka 消息队列 CMQ 版

Kafka源码系列之通过源码分析Producer性能瓶颈本文，kafka源码是以0.8.2.2，原因是浪尖一直没对kafka系统进行升级。主要是java的kafka生产者源码，Broker接收到producer请求之后处理的相关源码。估计源码内容是比较多的，只给出大致逻辑，主类和函数名称。本文的目的是让大家，彻底了解发送消息到kafka的过程及如何对producer进行调优。一，kafka的producer基本介绍及主要类 1，基本介绍 Kafka的Producer，主要负责将消息发送给kafka集群。

Spark学习技巧

2018-01-30

1.2K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态