专栏首页博文视点Broadview数据工作本质:从业务中来,到业务中去

数据工作本质:从业务中来,到业务中去

小编说:数据工作就组成结构和流程来说还是比较简单的,因为这个工作本来就很年轻,分工还没有很细。总体来讲,我把数据工作看成相互连接的三部分:取数、理数、用数,这是一个闭环。用数的需求会驱动取数工作,并对取数工作提出具体操作性要求。 《数源思维》一书正是以此本质为核心内容,提出了一套简便实用的方法来实现对数据工作价值的把控。点击阅读原文即可了解本书详情。

  • 取数

取数工作解决的是数据源的问题,具体来讲是由下面的一系列工作组成:

[1] 设计并实现产品中取数的方法和规则 [2] 产品运行过程中,实时的或周期性的从产品端获取数据。 [3] 传输、接收、校验数据 [4] 格式化归档存储数据。

经过取数工作后,就形成了由业务运行产生的原始数据。原始数据是极其丰富的,有很多种分类方法,而从用户的观点来看可以大致分为两种。一种是用户意识到的主动提供的,如注册数据,发表的文字等;另一种是用户不容易意识到的被动提供的,如上网IP地址,操作动作(像PC上的鼠标移动,手机上的滑动)。

之所以用这个数据工作者不常用的维度来分类原始数据是想提醒产品经理在产品设计时也需要一点数据思维。能采用第二种方式得到数据,就不用第一种方式去麻烦用户。

  • 理数

整理数据。这一步并不是必须的,尤其对初创企业来说,直接用原始数据是更经常的事。一方面因为初创时期的业务重点还不在于数据问题,另一方面也因为一些原始数据是结构化的,直接入数据库的,已经能用,比如用户注册数据。但随着数据的丰富和业务重点的变化,理数就变得越来越重要,因为大部分原始数据是无法直接用于分析和再产品化的,比如IP地址,比如文字。

理数标志性的工作就是对原始数据进行多层抽取、归纳、抽象的数据仓库建设。如果说取数是从用户中来,用数是到业务中去,那理数就是两者的桥梁,是将来自用户的数据原料转换为可供研究、分析或形成数据产品使用的数据零部件、半成品。这其中就会涉及数据挖掘工作。比如上面提到的IP地址,其本身并不能被直接使用,所以一般就会根据一个IP地址数据库将IP转换为地区名称。这就是将一个原始技术数据转为一个有意义的业务信息。

理数阶段的数据挖掘与用数阶段的数据挖掘并没有严格的区分,一般认为这个阶段的主要任务是将需求更普遍,应用更广泛的信息从原始数据中挖掘出来以减轻后面用数的工作量。比如像用户性别、年龄等基本属性的挖掘。尽管大部分互联网产品都会让用户填写这些字段,但用户填的叫原始数据。如果你直接使用原始数据,看上去是跳过了理数工作,但实际你是启用了一个理数的规则或模型,只不过输入和输出是一样的。这个模型的开发和应用成本为0,但机会成本是多少就要自己判断了。

当数据库、数据仓库准备好了零部件、半成品后,数据工作就要进入最眼花缭乱的用数阶段了。

  • 用数

使用数据有2个方向,一是为企业内部工作提供决策支持,二是直接为用户提供独立数据产品或数据支持下的产品新功能。

说到决策支持可能最先想到的是BI。狭义的传统BI主要使用企业运行产生的内部数据,然后做些表单,柱状、条形、折线等各式样的图,比较无聊的。现代互联网化的决策支持,因为数据源的不同而变得有趣的多得多。

比如我们曾经给公司人力资源部的招聘提供过一个产品,就是根据招聘要求利用微博数据精准寻找候选人。当然找人只是第一步,评估人才能力,行为习惯,行业薪资水平等等数据工作都能发挥作用。甚至可以收集多方数据来做员工流失预警。所以互联网数据基础上的决策支持是可以支持到企业方方面面的工作,比如在互联网公司中,决策支持类的数据应用就会有:

1. 产品优化决策

产品经理最主要的工作就是抓到用户需求点,然后设计出产品/服务来满足它。虽然说需求点的发现往往是经验性的定性的工作,但数据工作依然可以在两方面给予优化决策:

一是,给出市场中主流用户或某一分类用户的总体偏好和习惯,帮助产品经理加深对用户的理解。比如哪类用户在什么场景下喜欢听音频,在什么场景下喜欢看文字,在什么场景下打开视频的可能更高等等。这对于产品经理选择用户群的需求切入点至关重要。

二是,评估可能的市场规模和增长曲线。

新产品或新功能上线后,产品经理需要数据反馈来判断用户对自己设计的接受度。尽管PV、DAU等总体性指标是能反应用户对新产品/功能的态度,但因为是总体性的指标,它们的变化包含了太多的因素,比如推广力度、运营活动等等。所以要更精确的看产品,一般更好的选择是回访率、使用时长、频次、退出/跳出、转化等用户个体性指标的变化来衡量用户反馈。

除了事后的监测,有时还会使用AB测试来检验不同设计的效果,以便提前获知用户偏好,降低新产品/功能的市场风险。这里就会涉及到与取数工作的配合,AB测试进行部署时要根据需要选择一定条件的两组类似用户推送测试内容,在用户不知情的情况下看实际效果。

2. 运营支持

互联网产品的运营工作主要包括用户运营、内容运营、活动运营和客户服务。在每一块上数据工作都能给予基础性的支持。

比如用户促活当中有一个重要工作就是防流失。这里就会碰到一个流失判断标准的问题。多长时间不来算流失?这个课题研究的关注点实际不是流失的那群用户,因为你从他们身上是取不出流失时点信息的,我们的关注点在那些很长时间没有来,但最终在自然状态(注:没有召回和活动影响)下又回来的非流失用户。从这群用户身上我们才能发现一个用户最多经历多长时间的沉寂后还有可能回来了,反过来长于这个时间就可以判断流失。在实际研究中,你会发现有用户在半年甚至更长时间后还会回来,这些从经验上来说肯定不是自然状态下回流的。于是判断是否自然状态又成为新问题,解决这个问题的一个数据来源是访问来源。

当然算出流失标准时间界限对防流失来说并没有什么直接的作用,这个标准实际的用途是筛出流失研究样本,通过样本数据来得出流失预警模型,通过用户还活跃时的行为变化来预测他们流失的概率,进而提供给用户运营来做下一步工作的决策。

3. 市场推广反作弊

反作弊与作弊是一个工作对,基本上是处在道高一尺魔高一丈不断相互学习相互克制的状态中。所以随着作弊方法的不断更新,反作弊和识别虚假用户的方法也累计了很多种。大部分的方法都是基于人工或机器学习经验建立起的判别模型。这些方法判别效率高,实施成本低,使用广泛,但也有致命缺点。因为这些方法都属于有监督的方式,形成的经验来自历史数据,如果渠道作弊方法不变,这些反作弊识别手段就会保持较高的有效性。但问题是当你识别渠道作弊并且拒绝为其付费时,渠道立刻就知道你存在针对当前作弊方法的识别手段,他们就会进行作弊升级。同时他们还会要求你拿出他们作弊的证据,如果你告之了他们,就意味着你透露了识别方法,他们就能更容易的绕过你原有的反作弊方法,实现魔高一丈。最后你必须要想出无监督的方法来实现反作弊。

此外,销售、人力、战略决策等等都会是数据应用的舞台。

而除了作为配角的决策支持外,数据应用也有当主角的时候。比如百度搜索风云榜,微博热词等等数据产品。还有更常见的是在数据工作的直接支持下呈现给用户的“猜你喜欢”“相关商品”这些数据类产品。

从上面对数据工作的介绍中不知你是否体会到了数据工作“从业务中来,回业务中去”的本质或者说根本存在价值。如果你不是一个仅满足于完成数据内部技术处理工作的从业者,那你必须要对这个本质有清晰的认识。《数源思维》一书将会是很好的选择,点击阅读原文即可了解本书详情。

本文分享自微信公众号 - 博文视点Broadview(bvbooks),作者:博文视点

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-03-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【数据思维丨主题周】从智能ABC到搜狗,探寻数据驱动的价值

    不论2008 年Google 推出的流感预测产品,还是Prada旗舰店中每件衣服上的RFID码,数据能够给社会、企业带来商业模式上的优化,以及商业自动化的突破。...

    博文视点Broadview
  • 五步法建设你的数据中台

    数据中台是当下非常热门的话题,可以解决企业重复造轮子的问题。虽然数据中台在互联网企业中已经有了多年的实践,但是对于传统企业来说还是一个比较新的话题。

    博文视点Broadview
  • 大数据与传统数据

    大数据与传统数据相比的主要特点可以概括为:数据量“大”、数据类型“复杂”、数据价值“无限”。

    博文视点Broadview
  • 八爪鱼刘宝强:用大数据+人工智能布局千亿市场 | 镁客请讲

    时至今日,环顾各个行业,大数据的身影都已不再陌生,无论是传统的工业、旅游、医疗亦或者新零售、自动驾驶、智慧城市等等,大数据与AI技术的结合都为这些行业带来了新的...

    镁客网
  • 盘点 ▏12项要闻回顾2015年全球大数据发展的起起落落

    对于大数据来说,2015 年是动荡的一年:其数据和分析所具有的改变世界的潜力则继续散发耀眼的光芒,鼓舞着我们前行;同时,这一年中也经历了很多发展的低潮,这就像是...

    华章科技
  • 健康医疗大数据,数据自身“健康”是关键

    众所周知,数据是事实或结果,是用于表示客观事物的未经加工的的原始“素材”。这种“素材”应当具备真实性、完整性、一致性、准确性和自洽性,这是数据的基本属性,亦称数...

    陆勤_数据人网
  • 从3D人脸到自动驾驶,CVPR2020十个顶级开源数据集

    CVPR2020上开源的十个最有用的数据集,用数据来构建更好的人工智能,数据搬运工从来不应该缺席!下面就是十个数据集的分别解释:

    3D视觉工坊
  • 从3D人脸到自动驾驶,CVPR2020十个顶级开源数据集

    CVPR2020上开源的十个最有用的数据集,用数据来构建更好的人工智能,数据搬运工从来不应该缺席!下面就是十个数据集的分别解释:

    OpenCV学堂
  • 一文了解数据湖引擎

    数据湖引擎是一种开源软件解决方案或云服务,它通过一组统一的api和数据模型为分析工作负载的各种数据源提供关键功能。数据湖引擎解决了快捷访问、加速分析处理、保护和...

    数据社
  • 盘点全球2015年大数据发展大事记

    对于大数据来说,2015 年是动荡的一年:其数据和分析所具有的改变世界的潜力则继续散发耀眼的光芒,鼓舞着我们前行;同时,这一年中也经历了很多发展的低潮,这就像是...

    灯塔大数据

扫码关注云+社区

领取腾讯云代金券