腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
个推技术实践
专栏成员
举报
54
文章
69438
阅读量
15
订阅数
订阅专栏
申请加入专栏
全部文章(54)
大数据(11)
分布式(8)
微服务(7)
深度学习(6)
机器学习(5)
人工智能(5)
数据库(4)
神经网络(4)
kubernetes(4)
数据挖掘(3)
android(3)
云数据库 Redis(3)
大数据处理套件 TBDS(3)
渲染(3)
大数据解决方案(3)
移动开发(3)
存储(3)
强化学习(3)
数据分析(3)
数据处理(3)
数据可视化(3)
canvas(3)
NLP 服务(2)
tensorflow(2)
ios(2)
javascript(2)
android studio(2)
api(2)
TDSQL MySQL 版(2)
大数据可视交互系统(2)
企业(2)
http(2)
编程算法(2)
缓存(2)
spark(2)
微信(2)
kafka(2)
aigc(2)
xcode(1)
java(1)
react(1)
css(1)
opengl(1)
打包(1)
ide(1)
apache(1)
容器镜像服务(1)
批量计算(1)
云直播(1)
访问管理(1)
NAT 网关(1)
腾讯移动推送(1)
腾讯云测试服务(1)
电商(1)
svg(1)
容器(1)
游戏(1)
开源(1)
网络安全(1)
npm(1)
tcp/ip(1)
安全(1)
小程序(1)
物联网(1)
https(1)
系统架构(1)
nat(1)
腾讯云开发者社区(1)
云计算(1)
flutter(1)
安全治理(1)
sdk(1)
数据湖计算 DLC(1)
实时数仓(1)
flink(1)
智能识别(1)
移动推送(1)
智能数据应用(1)
数据湖(1)
app(1)
管理(1)
可视化(1)
搜索文章
搜索
搜索
关闭
Spark Streaming的优化之路——从Receiver到Direct模式
kafka
批量计算
spark
大数据
数据处理
随着大数据的快速发展,业务场景越来越复杂,离线式的批处理框架MapReduce已经不能满足业务,大量的场景需要实时的数据处理结果来进行分析、决策。Spark Streaming是一种分布式的大数据实时计算框架,他提供了动态的,高吞吐量的,可容错的流式数据处理,不仅可以实现用户行为分析,还能在金融、舆情分析、网络监控等方面发挥作用。个推开发者服务——消息推送“应景推送”正是应用了Spark Streaming技术,基于大数据分析人群属性,同时利用LBS地理围栏技术,实时触发精准消息推送,实现用户的精细化运营。此外,个推在应用Spark Streaming做实时处理kafka数据时,采用Direct模式代替Receiver模式的手段,实现了资源优化和程序稳定性提升。
个推
2019-06-18
738
0
个推基于 Apache Pulsar 的优先级队列方案
kafka
apache
存储
缓存
当 APP 有推送需求的时候, 会向个推发送一条推送命令,接到推送需求后,我们会把APP要求推送消息的用户放入下发队列中,进行消息下发;当同时有多个APP进行消息下发时,难免会出现资源竞争的情况, 因此就产生了优先级队列的需求,在下发资源固定的情况下, 高优先级的用户需要有更多的下发资源。
个推
2019-04-15
2.7K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档