达观数据CEO陈运文：如何运用大数据做好精细化营销

【陈运文简介】陈运文，博士，达观数据CEO；中国知名大数据技术专家，国际计算机学会（ACM）会员，中国计算机学会（CCF）高级会员，复旦大学计算机博士和杰出毕业生；在国际顶级学术期刊和会议上发表多篇SCI论文，多次参加ACM国际数据挖掘竞赛并获得冠军荣誉；曾担任盛大文学首席数据官（CDO），腾讯文学高级总监、数据中心负责人，百度核心技术研发工程师，在大数据挖掘、用户个性化建模、文本信息处理、推荐和搜索技术等方面有丰富的研发和管理经验。

如何基于大数据做精准营销

为什么营销其实是一个预测问题呢，每一个企业面临的核心问题是营销，如何做营销，如何基于大数据做营销，是每个企业需要考虑的问题，也是达观数据为企业解决的问题。

传统的营销方式是基于营销人士的经验来判断，比如在有经验的渠道上投放广告，预测哪些产品会受用户欢迎，判断产品功能如何设置。

怎么基于大数据做精准分析和营销呢，我们分为三部分：第一，通过大数据技术来做广告投放；第二，通过个性化推荐系统服务用户，提升用户粘性；第三，通过预测技术来提前预测用户流失，以及做用户流失召回。

第一点，投放广告的大数据预测。不同广告渠道会有不同投放效果，怎么选择渠道能精准化投放，如何量化评估投放效果，如何根据历史投放数据来选择最优方式，这后面是一整套预测系统。

第二点，通过个性化推荐系统服务用户。用户登录时，我们根据每个用户偏好生成个性化内容，为他提供个性化服务，这时我们需要预测每个用户的画像是什么样，需要什么服务。

第三点，通过预测技术来提前预测用户流失。我们根据用户在网站的行为判断哪些用户有流失风险，以及若干种召回用户手段中，最适合当前用户的是什么方式。

用大数据怎么做预测，怎么解决上面三个问题呢，我们介绍一个概念—机器学习。

机器学习和人工学习是非常类似的概念，我们可以想象，我们如何一步步成长起来，有经验的营销员工是怎么从实践中获取经验的。机器学习也类似，我们通过建立机器学习系统，接受大量数据的训练，通过训练让大数据预测系统越来越准确，从而承担很多原先需要人工完成的工作。

举个例子，美国一个网站上有很多国际数据科学家，里面有很多预测问题，其中有一道是泰坦尼克号预测问题：给定泰坦尼克号所有乘客数据，登船时的年龄、地点、性别、同行人、父母子女、舱位等，让数据科学家开发一套系统预测哪些乘客会遇难，哪些乘客会生还。

▲ 数据挖掘与预测，以泰坦尼克号为例

基于人工经验可以做预测，比如年长乘客容易遇难，青少年、结伴而行的容易生还，但人工经验的效果很难足够好，而机器预测可以使结果变得更准确。

在实际使用过程中，我们需要通过预测判断每个用户需求，如何更好满足需求。推荐应用在互联网中常见的形式是智能推荐系统。推荐系统和搜索引擎不同但类似，都是用户获取信息手段。在移动互联网时代，用户懒得打字搜东西，所以主动内容推荐是非常有价值的。例如用户到电商网站，我们如何从电商网站选择用户最喜欢的产品，放在最醒目位置；当用户去内容网站，例如新闻或小说网站，如何把用户最喜欢的内容放在最醒目位置，让用户去点击。其实后台都是预测系统，我们预测每个用户在当前场景下最有可能点击哪些结果。

▲推荐系统介绍

这里提一下美国的著名公司Netflix，做在线视频点播的，他们引以为傲的是后台的个性化推荐系统。2006年Netflix举办了大数据竞赛，邀请全世界大数据高手同场竞技，哪个团队预测的用户个性化推荐点击最高会获得100万美金，在这个大赛之后，非常多的大数据预测技术被研发出来，并被Netflix广泛使用。在美国亚马逊公司里推荐系统也是被广泛使用的。

但是国内企业除了阿里、京东等，其他企业对大数据技术的使用仍然停留在非常早期的时代，这也是达观数据未来服务的对象。以我们曾服务过的一家网站为例，这个网站有专职编辑从大量内容中挑选内容放在首页，但有个问题是，每个用户登录网站看到的内容是一样的，不是个性化的。我们通过大数据技术帮助这家网站做了用户精准画像，为每个用户做了大数据分析，根据用户历史行为生成了精准的用户建模系统。基于用户画像系统，我们生成个性化推荐，从网站内容库中给每个用户生成个性化推荐结果放在网站首页，每个用户看到的内容是不同的，曾经看过的也会很快过滤掉。

这里面有个技术叫协同过滤。现在互联网上资讯越来越多，所以人们需要一个过滤器，这个技术相当于为每个用户生成一个过滤器，所以叫协同过滤。为每个用户生成的过滤器需要考虑每个用户差异，所以协同过滤通过大数据来计算用户之间的相似度，根据相似度找到相似用户，基于相似用户行为来对当前用户的行为预测提供依据。协同过滤方法1996年由亚马逊公司提出，在发展中扩充了很多方法，不管是电商还是新媒体，该技术都有非常多变形和应用。

以前面的广告营销为例，我们可以通过相似用户行为来预测，相似用户在相同渠道投放广告接受程度如何，到达网站流失情况如何，相似用户接受推荐物品的反馈如何。明显可以看到协同过滤的难点是怎么计算用户相似度和用品相似度，这个计算量很大。这里就要用到大数据技巧，达观数据在用户画像建模和个性化推荐方面做了很多积累。推荐系统如今日头条，在推荐内容就做了个性化处理。

基于大数据预测的三大注意事项

1、怎么做好数据采集

很多网站或企业有一定的数据，但是数据集中在结构化数据上，例如网站订单数据，付费数据，这些数据在大数据里成为显示的数据，规模比较小，价值比较高。更多数据叫隐示数据，对描述用户兴趣偏好，预测用户行为也是非常有用，采集这些数据需要很多技术手段，如第三方SDK，JS脚本等等，这些数据汇总起来对数据预测非常有帮助。除了这些还有来自第三方的，如通过爬虫技术抓取的数据，DMP平台采购的数据等，这些数据对大数据平台也是非常有帮助的，数据越完整，预测越精准。

2、数据的清洗挖掘分析和建模

大数据系统中，超过一半工作是集中在这些方面。这块有很多技术比较高的方法，包括自动分类、聚类，预测回归等。

3、数据线上应用

包括个性化推荐系统，广告点击预估，流失的预测和挽回。

我们可以看到，里面相当多工作需要专业化团队来做，达观数据致力于用户画像、个性化推荐系统，广告点击预估，流失的预测和挽回的规范化，把这些变成标准化的SaaS服务，提供给合作伙伴，这样合作伙伴不需要研究大数据挖掘技术，而只需要在系统中充分使用挖掘结果就可以了。

我们提供过服务的用户类型

1、微信公众号

微信公众号变成很多用户获取信息的渠道，达观数据抓取几十万公众号数据，对数据进行分析，基于公众号文章的关键词，内容标签等，生成每个公众号人群的画像。我们为使用微信公众号投放广告的需求来提供服务，我们帮助他们对接公众号来做投放后数据跟踪，投放效果反馈、量化等。

2、电商

电商的商品数量非常多，随着时间发生变化，电商用户的群体也比较多，但停留时间短，如何在短时间找到用户偏好内容，我们通过电商解决方案来提供大数据推荐服务。电商推荐系统包括个性化推荐，相关推荐，热门推荐。个性化是基于每个用户生成个性化列表，通过“猜你喜欢”展现。相关推荐是推荐相关商品，已经买完会推荐相关商品。热门推荐通过排行榜来展现。

小结

总结一下，传统是用人工经验来预测判断营销效果，未来精细化运营是需要通过大数据系统来自动化做预测，不是基于整个用户群体，而是基于每个用户做个性化推荐。这样的好处是显而易见的，人的工作效率，稳定性是无法和机器相比的，人的经验也很难复制。

目前大部分企业对数据所蕴藏能量的挖掘还处于早期状态，实际上基于大数据系统开发出的精准预测系统可以用在很多方面。达观数据希望通过专业大数据挖掘技术，提供标准化saas服务，给到企业伙伴，让企业合作伙伴插上大数据翅膀，提高运营效率，获得更丰厚的回报。

— 部分现场提问 —

Q：达观数据服务的企业类型？

达观数据服务的企业类型包括三类，一是电商型企业，面临的问题是内容比较多，用户着眼点比较杂。二是新媒体，新媒体很多都是媒体人出身，缺少技术方面经验，我们提供他们受众的用户画像和传播分析。三是线下撮合型企业，他们的问题是在营销方面怎么基于大数据做精准和营销。

Q：以今日头条为例，如果我们的文章想被推送得更加精准，我们作为内容产出方应该做些什么？

作为内容产出方需要注意两点，一是基于数据分析知道你的受众是什么样的人，希望看到什么内容，针对性创造内容。二是内容投放渠道，你要知道你的受众在哪里，通过什么渠道投放能直达你的受众。基于微信数据，微信爆点什么时候诞生、传播、冷却，通过大数据可以追踪到，怎么根据爆点做推广，这是非常有意思的。

Q：我们是一家球类培训公司，很难像其他企业那样实现线上培训，所以，就数据服务而言您觉得大数据能为我们提供什么？

像您这样的线下服务企业同样需要大数据服务做个性化营销。线下服务企业和线上来比的劣势是，在数据采集方面不如线上容易自动化，但是仍然有很多方法，比如基于计算机视觉等。采集好数据后做量身打造，很多增值服务其实是个性化服务，基于每个用户需求做个性化服务，实际上能提升利润，对每个用户的量身打造可以通过数据分析来得到。线下营销成本是否能做的更加精细，效果更好，通过大数据预测跟踪实际上能帮助你们获得转化效果。