tataUFO 大数据应用实践

感谢tataUFO各位同仁的大力支持，帮助我顺利完成了在QingCloud Insigt 2016技术大会上的演讲，特将讲稿PPT分享出来，共勉！

一、引子

脱离了产品需求的技术架构都是——“扯”！

tataUFO的用户群体是95后的大学生，95后喜欢简单易用，而且酷炫的轻应用。

轻是外在的表现形式，tataufo产品的内部是如何实现质地的呢？

二、tataUFO的产品特色

每个人都听过“俞伯牙和钟子期”的故事......

这只是TataUFO 上的一个小故事，在这里，爱好铅笔画的小伙伴成群结队，爱好C罗的童鞋畅谈已去的欧洲杯 ......

知己未必是红颜，95后大学生们如何找到知己呢？

三、tataUFO 的大数据应用与实践

tataUFO 作为一种大学生社交应用，完全满足大数据的所谓的7V.

数据的多样性在tataUFO中体验的最为充分，处理数据格式的多样性，更重要的是用户数据维度的多样性，静态数据，动态数据......

总的来说，tataUFO的大数据应用体现在推荐系统上。

10点推荐是由tataUFO 系统生成的推荐， 在每天晚上十点中，通过PUSH，站内信等诸多技术手段告知用户，tataUFO 为你推荐了一个新朋友。

由于10点推荐在晚上10点中生成，而且晚上10点钟也是大学生们的睡前卧谈会时间，所以导致了流量暴增.

微服务的重构导致了服务器之间通信的复杂性，如何实现微服务的发现和配置呢？

陌生人沟通需要一个引子，一个话题, tataUFO如何知道用户有哪些潜在的谈资呢？

有了破冰的主题，接下来是如何将这些话题的闪聊室推荐给相关的用户.

社交是人和人之间的关系，而内容的引入则使社交网络形成了一个多峰的网络，先看一下人与内容形成的双峰模型。

线性模型非常简单,所以非常适合大数据的场景。

每个变量的形成并不是简单的四则运算，需要的是向量计算和矩阵的变换。

举个例子，比如source，来自好友一定比KOL 好吗？两个人都是我的好友，谁更可信呢？ 社交的质量来自于沟通的深度而不是频率。 在判定source 的信任程度时，同样需要大数据的支撑。

Azkaban是个简单的批处理调度器，用来构建和运行Hadoop作业或其他脱机过程。

Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark，也就是把Spark Streaming的输入数据按照batch size（如1秒）分成一段一段的数据，每一段数据都转换成Spark中的RDD，然后将Spark Streaming中对DStream的Transformation操作变为针对Spark中对RDD的Transformation操作，将RDD经过操作变成中间结果保存在内存中。

四、tataUFO的技术架构及演进方向

混合云：混合云是用户采用多种云服务来响应业务需求的IT架构。

系统架构可以有多种视图，拓扑架构，逻辑架构，运行架构，数据架构，开发架构等......