渠道质量评估模型

腾讯大讲堂

发布于 2020-11-02 11:10:08

2.5K0

发布于 2020-11-02 11:10:08

| 导语获客是大多数的商业场景下的重中之重，高效的获客在节省成本和用户质量提升方面的重要性不必再赘述。实际业务场景中，我们面临的是获客质量，获客量级和获客成本之间的博弈，其中两个方面的正向提升必然会导致另一方面的负向。在这三个维度中，量级和成本是天然的比较好衡量的，而质量则是一种更复杂更综合也更长期的维度，对质量的准确衡量，就显得尤为重要，本文希望结合日常工作中我对腾讯业务场景的理解，通过一些框架性的说明，来为大家构建评估模型提供一些思路。

背景

获客是大多数的商业场景下的重中之重，高效的获客在节省成本和用户质量提升方面的重要性不必再赘述。实际业务场景中，我们面临的是获客质量，获客量级和获客成本之间的博弈，其中两个方面的正向提升必然会导致另一方面的负向。在这三个维度中，量级和成本是天然的比较好衡量的，而质量则是一种更复杂更综合也更长期的维度，对质量的准确衡量，能为业务优化建立一套清晰的标尺，也能为优化提供方向。在多种获客手段中，新用户渠道采买属于其中非常重要的一种，具有高花费和可追踪的特征，故下文中仅针对新用户渠道获客进行说明。

常见的渠道优化链路如下：

首先基于增长模型，拆解年度DAU或时长目标和进行成本预估
其次基于渠道质量，渠道量级，成本单价等进行渠道预算分配
再然后通过渠道归因流程监控和渠道异常识别模型对渠道进行风险防控
最后针对每个具体的渠道类型进行优化

本文中对质量评估、异常识别、归因监控进行详细说明，对渠道优化进行简单提及

监控流程

渠道质量监控是一套系统化的工程，需要联动产品，数仓，分析师，数据工程，运营等共同从业务流程和数据流程上进行建设和维护。通常情况下，渠道质量监控需要满足以下几个条件：

标准清晰：也即是渠道的好与不好最终具体指向什么样的目标？比如DAU，时长，用户收益等，多指标的优化容易让人迷惑，并且可能存在相互矛盾的情况，通常情况下在监控初期就应该明确下来，并保持不变
快速反馈：质量监控的本质是通过用户的短期行为来判断长期表现，这样才能在最短的时间内快速发现渠道异常以及合理评估渠道质量。为了同时兼顾准确性和时效性，可采用多段式监控方式，一来对能快速定位到问题的渠道尽早预警来进行优化调整，而难以识别的渠道进行更长期的观察；二来可以通过长期的质量评估来校准短期质量评估模型
稳定可靠：质量监控最终产出的结果需要处于相对稳定的状态（因为真实的渠道质量是长期处于相对稳定的状态），所以在建模过程中，需要特别注意防止过拟合
细节保密：对渠道质量评估和渠道异常识别的模型细节需要保密，因为渠道本身涉及到结算花费等，如果过多暴露细节可能导致渠道作弊的风险
长期迭代：渠道风控涉及到攻防，随着作弊和刷量手段的日新月异，需要定期对模型进行维护和更新

比较常用的监控流程如下：

质量评估

短期渠道质量评估

短期指标通常在T+1或者T+2输出，优点是可以快速评估各渠道的好坏而不需要等待很长时间，缺点是评估较浅层也比较难以洞察用户的长期表现

Step1.指标选取

关键行为分：关键行为代表新用户来产品后，触发的某些关键动作。通常有两种方式来选取关键特征。第一种方法是梳理产品逻辑和用户路径，基于产品理解选取某些关键行为，类似于行为漏斗，比如隐私页授权，新用户引导，首页到达，关键内容等等。另一种方式是盘点用户首次启动app的关键行为，根据行为的渗透率以及留存的提升度（触发该行为的用户留存-未触发该行为的用户留存）来筛选出关键行为。
消费分：消费分值各类反应用户消费水平的指标，比如vv数，时长等
互动分：点赞，收藏，评论，关注等
用户构成：增长通常的两类用户触达手段：挽回（老用户回流）和扩列（拓展新用户）。我们有时候会发现某些渠道上用户质量特别好，但并不说明这个渠道质量真的好，一个可能是这个渠道的换机用户很多（用户换了新手机后重新下载了app），所以说这实际上是用户的自发回流，一味地对这类渠道扩大投放可能会造成对免费用户量的挤压从而导致成本的浪费。我们在做产品扩列的时候，比如需要主打某一类人群，这时候我们需要对这类人群占比较高的渠道进行加权，即使用户表现并不是最好，也需要给与较高的得分。
归因得分：归因方式有很多，比如基于imei，idfa等的精确归因，还有基于ip，UA等的模糊归因。如果某些渠道模糊归因太高，可能存在异常风险（有些渠道由于自身特殊性，仅有模糊归因，不在这个得分的讨论范围之内）

Step2.指标筛选

在渠道质量评估初期，我们手上可能有一大堆的指标，最终究竟用哪些指标，需要进行指标筛选，通常有以下几种方式：

相关性分析：绘制相关性矩阵，相关性特别强的指标保留更常用的那个指标就好
通过一些机器学习或者统计学的手段进行特征筛选

Step3.权重打分

层次分析法（AHP）
专家打分法
基于线性回归输出的参数作为权重打分依据

Step4.结果呈现

长期渠道质量评估（LTV预测）

LTV可以通过各种各样的方式进行拟合，但是有三个点需要特别注意：

LTV视具体的用途需要来评估是否要把渠道和用户终端机型等固有特征加到模型中，这些特征加入到模型中固然可以增加模型的准确性，如果以准确性作为唯一的评估指标，那么这样做没有问题。如果要根据得分对最终的渠道做评估优化，我们应当避免采用这些特征，而是仅根据用户的行为属性进行建模，虽然可能会损失部分的准确性，但更能有效反映渠道的好坏变化（也即是说，我们不对用户做先入为主的判断，不关心用户的来源渠道和机型，仅根据用户的表现来给分）。
用短期的用户行为预估长期的LTV基本很难做到准确，而长期的用户行为周期太长，容易让渠道优化失去先机，一种比较好的办法是同时构建两个模型：1.短期模型，通过用户前3-10天的数据预测未来1个月的表现；2.长期模型：根据用户1个月的数据预测未来1年的行为表现；3.根据两个模型的结果可以校准模型，也可能能发现某些渠道的异常表现。
关注LTV的分布，常见的LTV分布是60%-70%的用户未来不会再产生LTV，而剩余的少量用户的LTV分布近似正态分布，如下图所示，这种分布对建模是一种挑战，需要提前对LTV的分布有比较清晰的认知。对这种情况可以采用分段拟合，比如分类+回归模型进行建模。

图片来源：A DEEP PROBABILISTIC MODEL FOR CUSTOMER LIFETIME VALUE PREDICTION

LTV拟合思路一：基于留存曲线进行拟合

以具体的渠道的留存曲线作为样本点来进行留存曲线的拟合，这样的好处是易于实现，坏处是没法对渠道进行进一步按照广告创意等的自由拆解，每一次维度发生变化，就要重新建模，每个渠道都是单独的模型，难以复用。

基于留存曲线的拟合需要注意两个点：

函数形态的选择，比如究竟是用对数函数还是用指数函数等等，这里我们应该将留存曲线尽量拉长，来看看各类函数形态在长期留存上的表现。
样本点的选择，1-3天的留存天属于强影响点，是否需要保留，我们经常遇到的问题是，曲线为了拟合这些点，而导致在长期留存上出现拟合不上的情况，这里建议在拟合的时候，对样本点做一个组合遍历，比如对1-10天的区间进行穷举，选出表现最好的样本点就行了，这个时候样本点并不是越多越好

可能出现的几种拟合结果如下：

LTV拟合思路二：基于用户明细进行拟合

单用户的长期LTV会受到随机性的影响，不过一旦将用户聚集到渠道等粒度上，结果还是相对准确的，并且这样的结果支持多个维度的组合分析，从头到尾只需要构建一套模型。模型的预测手段很多，这里不再赘述，仅对模型的评估进行一些说明。模型评估除了常用的MSE，决定系数等之外，还需要关注的几个指标是：

斯皮尔曼等级相关系数

在LTV的预测中，某些时候，相比于精度，我们更关注渠道的排序问题，也即是确实把末尾10%的渠道预测为了末尾的10%，头部的10%的渠道预测为了头部的10%，假设这样一个极端场景，每个渠道的LTV均预测低了5%，这对整体渠道投放预算的优化调整几乎是没有影响的。所以在评估的时候，我们需要关注这样的指标。
而斯皮尔曼等级相关系数是反映两组变量之间联系的密切程度，它和相关系数r一样，取值在-1到+1之间，所不同的是它是建立在等级的基础上计算的。正适合这样的场景

基尼系数（Gini Coefficient）和分位数图（Decile Chart）

用来判断模型是否能对样本点的真实分布有个较好的拟合效果，而不是最终的拟合结果都趋近与腰部，头部和尾部没有拟合好，导致结果区分度不强（比如较差的渠道会拟合高，较好的渠道会拟合低），具体评估方法和实现代码详见：
材料：https://arxiv.org/pdf/1912.07753.pdf
GitHub：https://github.com/google/lifetime_value

反作弊及异常识别

由于投放涉及到互联网公司大量的预算，一直是作弊的重灾区，而当前的作弊手段又五花八门，想了解常见的作弊手段可参考刘鹏的文章：

互联网广告作弊十八般武艺（上）：https://mp.weixin.qq.com/s/ss_jsOJ9Etp9obwRGEsvgw

互联网广告作弊十八般武艺（下）：https://mp.weixin.qq.com/s/Ut0_yj2YoPMwEAokNDPv5g

作弊的识别除了要依赖反作弊团队专业的作弊识别技术外，分析师还需要做什么呢？分析师的优势在哪里呢？

分析师的优势在于：对渠道的结算逻辑，渠道归因逻辑，用户激活，用户站内承接，用户后续表现有一套完整清晰的认识，这些优势最终可以应用在以下几个地方：

明确哪些渠道，哪些结算方式是作弊的重灾区，以及究竟是媒体作弊还是代理商作弊？
撞库过程中，哪些指标异常可以反映付费渠道在抢占免费量，这时候即使付费渠道质量很好，结果也是不可信的，以及归因过程中，从ip，imei等更多维度上，也能看出一些问题。
哪些行为指标之间是强相关的，如果在某些渠道上，这些指标并不相关，甚至负相关，说明该渠道可能存在问题
一个正常的留存曲线是什么样的？比如某些渠道前10天表现特别好，10天后突然变差，这种情况分析师可以识别，但是反作弊比较难识别，这种情况可能由于积分墙导致，需要引起注意，否则会对投放预算造成强误导。
用户的正常行为是什么样的？用户的异常行为是什么样的？

具体判断细节一来根据业务不同有很强的个性化特征，二来这些识别手段公开后可能导致模型失效，因此不再做过多说明

渠道优化

在对渠道质量进行准确评估并且识别出异常渠道后，我们来到了渠道优化环节，渠道优化一方面需要调整预算，另一方面涉及到具体渠道的优化细节。各个渠道由于结算方式的不同，而导致优化逻辑截然不同：