我的数据心经06:如何结合活动,设计科学的模型效果评估方案

以连载的方式,记录自己学习数据分析的所想所得,共勉,不定期发布。如果文章内容有用,请你分享给有需要的朋友,谢谢支持。

写这篇文章,是因为看到一些产品运营或者数据童鞋,在验证模型的有效性上过于草率,缺乏严谨的科学态度,深感数据化运营的理念和方法,在企业推广应用上难度很大。最近在研究增长黑客的方法,同时打听到今日头条系(包括抖音、西瓜视频等)已经建立了200多人的增长团队(成员包括数据分析师、产品经理、设计师、开发工程师等,以增长为目标导向、增长黑客方法为核心手段的扁平化团队),内心表示羡慕,也证实在产品切合市场需求的前提下,基于科学的数据实验测试,依据增长黑客的方法,能加速产品发展,发挥数据的价值,头条系的成功案例(抖音在一年多时间,DAU上亿)是数据化运营具有强大动力的有力证明。希望此文能够对企业管理者、产品经理或者数据同事有一些启发或触动。

于数据分析师来说,辛苦搭建数学模型,模型训练的各项指标(准确率、查全率等)都很好,到了活动投放验证阶段,如果急于求快部署,不设计科学的活动评估方案,后期推广将无法量化、客观地评估模型效果。对于产品经理来说,如果脑袋里没有科学的活动评估方法,运营无疑于裸跑,所取得的成绩,不能量化,即使产品侥幸成功,也不知道所以然来。

以一个案例说明,如何结合活动,设置科学的模型验证方案:

假设某个阅读类app产品,通过决策树搭建了一个提升用户付费转化率的模型(找出更有可能付费的用户),现在要通过app的push消息(指app外,非app内的通知红点),投放活动来验证模型的效果。数据分析师和产品经理要注意哪方面的事项呢?

一、设置科学的对照组,号码排序要随机

1、验证模型的有效性,需要设置对照组号码

1)随机组号码:从符合要求的目标用户中,随机选取一部分,抽样要求一般要达到95%的置信度水平,误差在5%以内。

如果目标用户群较大(达到百万、千万级别以上),抽取几万至几十万,保证后期还可以做更深入的分层分析(例如可分析用户的画像或者行为,确认哪些用户更容易转化)。

如果用户群较少(如只有几十万),抽取用户数至少需要几千(理论上400左右的样本,已达到抽样要求,但为了减少因为投放渠道触达率低等原因,造成号码量减少,建议适当增加样本量)。

2)经验组号码:从符合要求的目标用户中,运营同事根据日常的活动经验判断,选取可能响应活动的目标用户,数量一般比随机组多。

3)实验组号码:就是通过数学模型挑选出来的号码,模型会给出用户参与活动的统计学概率,假如活动的目标用户群有1000万,模型会对1000万号码预测,给出付费转化的统计学概率(并非真实的付费转化率),按概率从高到低排序。如果活动资源有限,只能投放500万,则把概率高的500万号码给到产品运营同事进行投放。

2、三组号码合并,剔除重复号码,随机打乱排序后,再投放。

1)这里建议数据分析师,一定要把三组号码包合并剔重,再提供给产品运营同事,因为这种情况下产品同事实际上无法知道哪组是实验组,进而无法进一步做处理,减少误操作对实验的客观性的影响。

2)最好通过随机函数,把合并剔重的号码,重新随机排序。号码随机排序的好处是减少误差。本案例是通过app的push消息发送,理论上号码排列的先后顺序不影响用户的参与度(但很多系统性误差的产生,往往是你意想不到的),如果是通过电话外呼、短信发送等方式进行,那号码的排列先后顺序会严重影响实际效果。

二、画出响应率与投放量的关系曲线,计算出最大盈利点和盈亏平衡点的投放数量

这里先明确一下响应率的概念,本案例中,考虑到APP的消息push触达率并不稳定,我们可以设置响应率=付费成功人数/进入活动页面的人数,这里的响应率也就是付费转化率。

1、绘制响应率与投放量的关系曲线:通常而言,随机组的响应率是恒定的,实验组和经验组的响应率是随投放量增大而下滑,最后接近随机组的水平。正常情况下,实验组一般会比经验组好(见下图)。很多产品经理往往希望尽量投多一些号码,同时响应率保持较高水平,这是做不到的。所以,数据分析师需要绘制出这条响应率曲线,才能跟运营同事说清楚缘由。

对于实验组,假如投放了500万号码,我们可以计算模型预测概率靠前的不同投放数量(具体数量分区间,根据实际情况定),对应的响应率(即真实的付费转化率),从而绘制响应率与投放量的关系曲线。

对于经验组,绘制响应率曲线就非常困难,一般不绘制。如果硬要对比,只能依据经验筛选的条件来划分用户群,比如经验组投放了100万号码,运营同事认为,符合规则A的用户响应率>符合规则B的用户>符合规则C的用户>符合规则D的用户,ABCD类用户群互不重合,计算不同规则群体的响应率,从而绘制响应率曲线(但很可能结果就不是一条曲线了)。

其实每次活动投放都是有成本,有些投放的成本很低,几乎可以忽略,但有些付费渠道,成本是很高的,所以做好成本和利润核算是非常重要。本案例中的push消息,成本为活动资源、人工费用、机器损耗、电费、用户体验损耗(无形成本)等。

2、计算出最大盈利点和盈亏平衡点的投放数量

对于本案例,直接的经济收益为:本次活动用户总的充值收入

通过计算不同投放量,对应的直接经济收入和成本,可得出最大利润(利润=收入-成本)和盈亏平衡点所对应的投放量,可以给到产品运营同事参考。

三、定期评估和优化模型

经过真实活动验证模型有效果后,模型部署上线,正式应用。但通常模型使用一段时间后,效果是逐步衰退的(这里有各种因素影响,比如用户群体变化,有些建模的特征属性以前是有效的,后来无效等等),需要定期重新评估模型的效果,进行持续优化(增加新的模型特征、优化算法等等)。

原文发布于微信公众号 - 数据的力量(shujudeliliang)

原文发表时间:2018-07-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【黑科技】新一代脑机接口技术基石:通过大脑扫描数据重建图像

【新智元导读】 中国科学院自动化研究所的研究团队提出了一种令人既兴奋又恐慌的大脑黑科技——读脑术算法。“新提出的技术有效克服了这个领域的一系列难点,能够更加精...

37760
来自专栏QQ大数据团队的专栏

手Q游戏中心的个性化推荐实战

自手Q游戏中心V6.0改版以来,产品形态发生了较大的转变,不再是纯粹通过app列表做游戏分发,而是试图通过内容来带游戏分发,全新的产品形态给推荐算法带来了许多的...

98490
来自专栏量子位

两个月入门深度学习,全靠动手实践!一位前端小哥的经验分享

王新民 编译自 Hackernoon 量子位 出品 | 公众号 QbitAI ? 在当前社会,技术日新月异,一个全栈工程师不及时学习新知识,掌握AI技能,再过两...

38870
来自专栏AI研习社

不需要敲代码就可以开发深度学习应用?我们来探个究竟

AI 研习社按:在深度学习仍然需要不少的数学和计算机编程能力的现在,如果突然出现了一个不需要写任何公式和代码的深度学习应用开发平台,你会是什么感觉?震惊?鄙夷?...

7920
来自专栏AI科技评论

观点 | 不需要敲代码就可以开发深度学习应用?我们来探个究竟

AI 科技评论按:在深度学习仍然需要不少的数学和计算机编程能力的现在,如果突然出现了一个不需要写任何公式和代码的深度学习应用开发平台,你会是什么感觉?震惊?鄙夷...

13120
来自专栏AI科技评论

开发 | Facebook 开源全新深度学习框架 Caffe2,让 AI 从云端走向终端

AI科技评论消息,在昨晚开幕的 F8 年度开发者大会上,Facebook 发布了一款全新的开源深度学习框架 Caffe2。按照官网介绍,它的最大特点就是轻量、模...

31350
来自专栏AI研习社

Facebook 开源深度学习框架 Caffe2,让 AI 从云端走向终端

AI 研习社按:在昨晚开幕的 F8 年度开发者大会上,Facebook 发布了一款全新的开源深度学习框架 Caffe2。按照官网介绍,它最大的特点就是轻量、模块...

353130
来自专栏计算机视觉战队

2018年最全的推荐系统干货(ECCV、CVPR、AAAI、ICML)

最近总有几位关注者希望我们可以分享一些“推荐系统”类的干货,最近正好一不小心看到一篇比较好的博主写的推送,在此我通过自己理解和该博主的内容,为大家带来一次推荐系...

59650
来自专栏新智元

【热门】GitHub 深度学习Top18开源项目,全球进入协同编程时代

【新智元导读】鸡年伊始,万象更新。 随着深度学习的火热,GitHub上涌现了大量的开源项目,除了大家熟知的 TensorFlow 以外,还有哪些项目是最受欢迎的...

398120
来自专栏新智元

【前沿】CMU研发算法透明化系统,点亮机器学习黑箱

【新智元导读】现在的机器学习系统并不是完全安全可靠的,这不仅是因为我们无从得知黑盒子里发生的事情,还因为用人类生成的数据训练机器,难免会把人类的偏见和固有缺陷也...

25340

扫码关注云+社区

领取腾讯云代金券