爱撸猫的杰-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

爱撸猫的杰

专栏成员

98

文章

186771

阅读量

13

订阅数

Flume+Kafka+Spark Streaming实现大数据实时流式数据采集

大数据 spark kafka 腾讯云开发者社区

大数据实时流式数据处理是大数据应用中最为常见的场景，与我们的生活也息息相关，以手机流量实时统计来说，它总是能够实时的统计出用户的使用的流量，在第一时间通知用户流量的使用情况，并且最为人性化的为用户提供各种优惠的方案，如果采用离线处理，那么等到用户流量超标了才通知用户，这样会使得用户体验满意度降低，这也是这几年大数据实时流处理的进步，淡然还有很多应用场景。因此Spark Streaming应用而生，不过对于实时我们应该准确理解，需要明白的一点是Spark Streaming不是真正的实时处理，更应该成为准实时，因为它有延迟，而真正的实时处理Storm更为适合，最为典型场景的是淘宝双十一大屏幕上盈利额度统计，在一般实时度要求不太严格的情况下，Spark Streaming+Flume+Kafka是大数据准实时数据采集的最为可靠并且也是最常用的方案，大数据实时流式数据采集的流程图如下所示：

爱撸猫的杰

2020-03-25

1.5K0

Libra和中国央行数字货币（DCEP）的对比

数字货币微信区块链大数据

最近偶然和朋友讨论起Libra，对Libra和央行的数字货币方案很感兴趣。梳理了阅读资料（参考见文末）和自己的思考，发知乎留个记录。

爱撸猫的杰

2019-11-10

1.2K0

Kafka、ActiveMQ、RabbitMQ、RocketMQ 区别以及高可用原理

rabbitmq kafka 消息队列 CMQ 版 apache 大数据

其实就是问问你消息队列都有哪些使用场景，然后你项目里具体是什么场景，说说你在这个场景里用消息队列是什么？

爱撸猫的杰

2019-03-28

5.2K0

2018年Fintech金融科技关键词和入行互金从业必懂知识

金融大数据区块链互联网金融

这些词充斥着我们的生活和时间，而这些从整体的关系来看，衍生出一个核心变化，就是融合。

爱撸猫的杰

2019-03-28

8690

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态