tataUFO 大数据应用实践

感谢tataUFO各位同仁的大力支持,帮助我顺利完成了在QingCloud Insigt 2016技术大会上的演讲,特将讲稿PPT分享出来,共勉!

一、引子

脱离了产品需求的技术架构都是——“扯”!

tataUFO的用户群体是95后的大学生,95后喜欢简单易用,而且酷炫的轻应用。

轻是外在的表现形式,tataufo产品的内部是如何实现质地的呢?

二、tataUFO的产品特色

每个人都听过“俞伯牙和钟子期”的故事......

这只是TataUFO 上的一个小故事,在这里,爱好铅笔画的小伙伴成群结队,爱好C罗的童鞋畅谈已去的欧洲杯 ......

知己未必是红颜,95后大学生们如何找到知己呢?

三、tataUFO 的大数据应用与实践

tataUFO 作为一种大学生社交应用,完全满足大数据的所谓的7V.

数据的多样性在tataUFO中体验的最为充分,处理数据格式的多样性,更重要的是用户数据维度的多样性,静态数据,动态数据......

总的来说,tataUFO的大数据应用体现在推荐系统上。

10点推荐是由tataUFO 系统生成的推荐, 在每天晚上十点中,通过PUSH,站内信等诸多技术手段告知用户,tataUFO 为你推荐了一个新朋友。

由于10点推荐在晚上10点中生成,而且晚上10点钟也是大学生们的睡前卧谈会时间,所以导致了流量暴增.

微服务的重构导致了服务器之间通信的复杂性,如何实现微服务的发现和配置呢?

陌生人沟通需要一个引子,一个话题, tataUFO如何知道用户有哪些潜在的谈资呢?

有了破冰的主题,接下来是如何将这些话题的闪聊室推荐给相关的用户.

社交是人和人之间的关系,而内容的引入则使社交网络形成了一个多峰的网络,先看一下人与内容形成的双峰模型。

线性模型非常简单,所以非常适合大数据的场景。

每个变量的形成并不是简单的四则运算,需要的是向量计算和矩阵的变换。

举个例子,比如source,来自好友一定比KOL 好吗?两个人都是我的好友,谁更可信呢? 社交的质量来自于沟通的深度而不是频率。 在判定source 的信任程度时,同样需要大数据的支撑。

Azkaban是个简单的批处理调度器,用来构建和运行Hadoop作业或其他脱机过程。

Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark,也就是把Spark Streaming的输入数据按照batch size(如1秒)分成一段一段的数据,每一段数据都转换成Spark中的RDD,然后将Spark Streaming中对DStream的Transformation操作变为针对Spark中对RDD的Transformation操作,将RDD经过操作变成中间结果保存在内存中。

四、tataUFO的技术架构及演进方向

混合云:混合云是用户采用多种云服务来响应业务需求的IT架构。

系统架构可以有多种视图,拓扑架构,逻辑架构,运行架构,数据架构,开发架构等......

原文发布于微信公众号 - 喔家ArchiSelf(wireless_com)

原文发表时间:2016-07-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

TensorFlow团队成员说:深度学习的未来,在单片机的身上

Pete Warden,是谷歌TensorFlow团队成员,也是TensorFLow Mobile的负责人,常年遨游在深度学习的大海。

1412
来自专栏大数据文摘

[可视化]时间线的7种设计方式

6119
来自专栏CDA数据分析师

Python 爬取淘宝商品数据挖掘分析实战

? 作者 孙方辉 本文为CDA志愿者投稿作品,转载需授权 项目内容 本案例选择>> 商品类目:沙发; 数量:共100页 4400个商品; 筛选条件:天猫...

6075
来自专栏互联网杂技

2016年最流行的六大深度学习开源工具

一、TensorFlow TensorFlow新版本的重大意义在于首次支持分布式处理,可使用机群培训机器学习模型,此前只支持单一机器。 二、Keras 开发者是...

3177
来自专栏大数据文摘

手把手:R语言文本挖掘和词云可视化实践

2403
来自专栏Y大宽

4 翻转课堂的设计及步骤(含慕课和视频制作)

总分总的格式 总体框架 话题导入,图片或视频 知识讲解 图片内容 模板应用

1.1K3
来自专栏Data Analysis & Viz

我的简书两月记:数据可视化

很多人来简书写作,或长或久,可能无法准确量化自己取得的进步,或者无法定位自己在几十万乃至更多的写作者中所处的位子,比如:有多少人粉丝数、喜欢数比你多?万粉大小V...

1454
来自专栏大数据文摘

不再神秘的量子计算,用Python就能实现(视频+代码)

2173
来自专栏逍遥剑客的游戏开发

VRDC2017: Eagle Flight Technical Postmortem

4236
来自专栏新智元

【重磅】潘建伟团队实现城际量子传输,全球量子网络走进现实

【新智元导读】中国科技大学的潘建伟团队和加拿大卡尔加里大学的 Tittel 团队,本周在 Nature Photonics 刊文,使用独立开发的反馈和同步机制,...

3199

扫码关注云+社区

领取腾讯云代金券