腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大鹅专栏：大数据到机器学习

从大数据计算到机器学习，你需要了解这些。专注于Hadoop生态 Spark 机器学习深度学习

专栏作者

127

文章

266098

阅读量

46

订阅数

Spark Structrued Streaming 及 DStreaming 调优笔记

文件存储批量计算 spark 数据处理编程算法

项目中用的是Spark Structrued Streaming ，也就是Spark 2.0的新版Streaming，看官方文档也说过性能及实时性会比之前的Dstreaming好点，但是相关的资料相比Dstreaming实在是少很多，现在调优阶段很多都要参考Dstreaming的文章以及经验。

2021-06-16

1.3K0

Kafka入门教程其一消息队列基本概念及常用Producer Consumer配置详解学习笔记

消息队列 CMQ 版 kafka node.js socket编程批量计算

Apache Kafka是基于发布/订阅的容错消息系统，由Scala和Java编写，是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。

2021-06-16

6480

Spark Structured Streaming + Kafka使用笔记

jquery node.js kafka spark 批量计算

这篇博客将会记录Structured Streaming + Kafka的一些基本使用(Java 版)

2021-06-16

1.4K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态