腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
爱撸猫的杰
专栏成员
举报
98
文章
186826
阅读量
13
订阅数
订阅专栏
申请加入专栏
全部文章(98)
java(26)
编程算法(20)
缓存(11)
微服务(11)
spring(10)
jvm(10)
分布式(9)
数据库(8)
http(8)
node.js(6)
apache(6)
sql(5)
api(5)
网络安全(5)
spring boot(5)
https(5)
git(4)
zookeeper(4)
大数据(4)
c++(3)
打包(3)
unix(3)
网站(3)
存储(3)
开源(3)
jdk(3)
面向对象编程(3)
hashmap(3)
dubbo(3)
架构设计(3)
kafka(3)
费用中心(2)
区块链(2)
go(2)
android(2)
云数据库 SQL Server(2)
github(2)
maven(2)
云直播(2)
容器(2)
运维(2)
压力测试(2)
spark(2)
hadoop(2)
cdn(2)
spring cloud(2)
微信(2)
es(2)
负载均衡(1)
其他(1)
数字货币(1)
php(1)
python(1)
javascript(1)
ruby(1)
servlet(1)
jsp(1)
云数据库 Redis(1)
access(1)
mvc(1)
ruby on rails(1)
ide(1)
tomcat(1)
搜索引擎(1)
linux(1)
负载均衡缓存(1)
日志服务(1)
移动直播(1)
TDSQL MySQL 版(1)
海外加速(1)
消息队列 CMQ 版(1)
腾讯云测试服务(1)
电商(1)
金融(1)
企业(1)
渲染(1)
互联网金融(1)
正则表达式(1)
自动化测试(1)
二叉树(1)
aop(1)
markdown(1)
rpc(1)
敏捷开发(1)
rabbitmq(1)
gcc(1)
gradle(1)
socket编程(1)
uml(1)
ntp(1)
安全(1)
数据分析(1)
windows(1)
数据结构(1)
系统架构(1)
hbase(1)
腾讯云开发者社区(1)
Elasticsearch Service(1)
chrome(1)
google(1)
handle(1)
ode(1)
并发(1)
插件(1)
互联网(1)
计算机(1)
虚拟机(1)
搜索文章
搜索
搜索
关闭
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
大数据
spark
kafka
腾讯云开发者社区
大数据实时流式数据处理是大数据应用中最为常见的场景,与我们的生活也息息相关,以手机流量实时统计来说,它总是能够实时的统计出用户的使用的流量,在第一时间通知用户流量的使用情况,并且最为人性化的为用户提供各种优惠的方案,如果采用离线处理,那么等到用户流量超标了才通知用户,这样会使得用户体验满意度降低,这也是这几年大数据实时流处理的进步,淡然还有很多应用场景。因此Spark Streaming应用而生,不过对于实时我们应该准确理解,需要明白的一点是Spark Streaming不是真正的实时处理,更应该成为准实时,因为它有延迟,而真正的实时处理Storm更为适合,最为典型场景的是淘宝双十一大屏幕上盈利额度统计,在一般实时度要求不太严格的情况下,Spark Streaming+Flume+Kafka是大数据准实时数据采集的最为可靠并且也是最常用的方案,大数据实时流式数据采集的流程图如下所示:
爱撸猫的杰
2020-03-25
1.5K
0
Libra和中国央行数字货币(DCEP)的对比
数字货币
微信
区块链
大数据
最近偶然和朋友讨论起Libra,对Libra和央行的数字货币方案很感兴趣。梳理了阅读资料(参考见文末)和自己的思考,发知乎留个记录。
爱撸猫的杰
2019-11-10
1.2K
0
Kafka、ActiveMQ、RabbitMQ、RocketMQ 区别以及高可用原理
rabbitmq
kafka
消息队列 CMQ 版
apache
大数据
其实就是问问你消息队列都有哪些使用场景,然后你项目里具体是什么场景,说说你在这个场景里用消息队列是什么?
爱撸猫的杰
2019-03-28
5.2K
0
2018年Fintech金融科技关键词和入行互金从业必懂知识
金融
大数据
区块链
互联网金融
这些词充斥着我们的生活和时间,而这些从整体的关系来看,衍生出一个核心变化,就是融合。
爱撸猫的杰
2019-03-28
869
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档