原创-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

原创

专栏成员

92

文章

115506

阅读量

35

订阅数

[个推 CTO 谈数据智能] 之本质及技术体系要求

大数据数据挖掘数据安全数据处理

安森，个推CTO 毕业于浙江大学，现全面负责个推技术选型、研发创新、运维管理等工作，已带领团队开发出针对移动互联网、金融风控等行业的多项前沿数据智能解决方案。

2019-08-09

4230

Spark Streaming的优化之路——从Receiver到Direct模式

kafka 批量计算 spark 大数据数据处理

随着大数据的快速发展，业务场景越来越复杂，离线式的批处理框架MapReduce已经不能满足业务，大量的场景需要实时的数据处理结果来进行分析、决策。Spark Streaming是一种分布式的大数据实时计算框架，他提供了动态的，高吞吐量的，可容错的流式数据处理，不仅可以实现用户行为分析，还能在金融、舆情分析、网络监控等方面发挥作用。个推开发者服务——消息推送“应景推送”正是应用了Spark Streaming技术，基于大数据分析人群属性，同时利用LBS地理围栏技术，实时触发精准消息推送，实现用户的精细化运营。此外，个推在应用Spark Streaming做实时处理kafka数据时，采用Direct模式代替Receiver模式的手段，实现了资源优化和程序稳定性提升。

2019-06-17

1.2K0

大数据时代，如何构建精准用户画像，直击精细化运营顶

大数据数据处理编程算法 http

移动互联网时代，精细化运营逐渐成为企业发展的重要竞争力，“用户画像”的概念也应运而生。用户画像是指，在大数据时代，企业通过对海量数据信息进行清洗、聚类、分析，将数据抽象成标签，再利用这些标签将用户形象具体化的过程。用户画像的建立能够帮助企业更好地为用户提供针对性的服务。

2019-04-19

1.4K0

面向机器学习数据平台的设计与搭建

神经网络机器学习深度学习人工智能数据处理

机器学习作为近几年的一项热门技术，不仅凭借众多“人工智能”产品而为人所熟知，更是从根本上增能了传统的互联网产品。在近期举办的2018 ArchSummit全球架构师峰会上，个推首席数据架构师袁凯，基于他在数据平台的建设以及数据产品研发的多年经验，分享了《面向机器学习数据平台的设计与搭建》。

2019-03-12

1.4K0

探索新零售时代背后的技术变革

编程算法机器学习神经网络人工智能数据处理

随着线下场景布局的不断发展，以及线上技术的持续推进，一个真正属于新零售的时代已经来临。

2019-03-12

9160

个推 Spark实践教你绕过开发那些“坑”

spark 开源数据处理缓存

Spark作为一个开源数据处理框架，它在数据计算过程中把中间数据直接缓存到内存里，能大大地提高处理速度，特别是复杂的迭代计算。Spark主要包括SparkSQL，SparkStreaming，Spar

2018-03-21

1.1K0

如何打造100亿SDK累计覆盖量的大数据系统

大数据数据处理存储

作为推送行业领导者，截止目前个推SDK累计安装覆盖量达100亿（含海外），接入应用超过43万，独立终端覆盖超过10亿（含海外）。个推系统每天会产生大量的日志和数据，面临许多数据处理方面的挑战。首先数据存储方面，个推每天产生10TB以上的数据，并且累积数据已在PB级别。其次，作为推送技术服务商，个推有很多来自客户和公司各部门的数据分析和统计需求，例如：消息推送和数据报表。虽然部分数据分析工作是离线模式，但开源数据处理系统稳定性并不很高，保障数据分析服务的高可用性也是一个挑战。另外，推送业务并不是单纯的消息

2018-03-21

1K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态