预计阅读时间:6min
解决痛点:本系列为大家总结了面试中常考的22道AB实验问题,涵盖接近100%的知识点,对于准备找工作的你会有很大帮助。
00
序言
AB实验是数据分析面试中避不开的一个话题,小火龙为大家总结了7个大方向的问题,分别为:「实验理解类问题」、「实验设计类问题」、「实验运行类问题」、「实验评估类问题」、「实验放量类问题」、「特殊实验类问题」、「实验概念类问题」,涵盖了绝大多数常考知识点。
之前的文章中分享了前五个方面问题,可以戳:
「求职」22道数据分析面试题,涵盖95%常考知识点『AB实验篇-上』
「求职」22道数据分析面试题,涵盖95%常考知识点『AB实验篇-中』
本篇为大家带来最后两个方面知识点。
01
特殊实验类问题
题目17:实验第一天在满足样本量前提下,策略指标表现均显著提升,可否直接得出结论?如何判断是否有新奇效应?以及如何剔除影响?
考核点:考核候选人对于「新奇效应」的理解。
难度系数:4星
不可以得出结论。一方面:由于实验需要一个完整自然周,避免周期因素影响;另一方面:由于策略的改动可能引起用户的新奇效应。
那么什么是新奇效应呢?简单介绍一下:
扫盲 – 新奇效应
新奇效应主要出现在老用户身上,老用户会对原始产品产生习惯性,因此在产品策略改动时,往往会表现出“非专家用户”的短期行为。
举个例子
新产品迭代,老用户开始应用不习惯,初始指标下跌,后续逐渐恢复平稳;
新产品迭代,老用户好奇,消费提升,初始指标上涨,后续逐渐恢复平稳。
判断是否存在新奇效应,主要有两点:
其一:指标趋势逐步趋稳。观察指标差异是否随着时间持续,逐步趋于稳定。有新奇效应的实验,往往实验前期波动较大,后续逐步趋于稳定。
其二:策略新用户占比。由于新奇效应主要出现在策略新用户上,因此策略新用户占比越高,新奇效应的可能性也就越大。这里注意一下,策略新用户 ≠ 产品新用户,例如:老用户第一次看到新策略,这种用户算作策略新用户,但并非产品新用户。
当发掘有新奇效应时,要如何在评估中克服呢?同样有两点:
其一:拉长实验周期。待指标趋势平稳后,再产出实验结论。
其二:用户分层分析。重点关注「产品新用户」与「策略老用户」,因为新奇效应主要出现在产品老用户+策略新用户上。
题目18:针对存在网络效应的产品,要如何设计实验?有哪些注意点?
考核点:考核候选人对于「网络效应」的理解。
难度系数:4星
同上一题,先简单介绍一下什么是网络效应:
扫盲 – 网络效应
产品可以划分为「单边产品」和「多边产品」。
单边产品,例如:搜索引擎,用户使用之间是不会相互干扰的;
多边产品:例如:聊天软件,用户之间存在互通,一方影响会传导到另外一方。
而这种「多边产品」用户之间相互影响的情况,我们称之为网络效应。
那么,网络效应为什么会影响实验呢?
举个例子
微信在进行策略迭代时,随机选择两拨人群作为实验组A和对照组B。新策略在A组中执行,假设策略使得A组用户聊天频次显著提升,而社交性产品由于存在交互性,往往会导致B组用户的聊天频次也相应提升。这种AB组用户直接或间接干扰的情况,则是网络效应对实验的影响。
那么针对存在网络效应的实验,要如何开展实验呢?关注以下两步:
步骤一:将用户按照地理位置、社会群体等方式进行用户群体切割,AB桶分别选择相对独立的两个群体。
步骤二:由于群体之间是存在差异性的,因此需要尽可能选择相似的用户群体,结合PSM等方式进行评估。例如:按照地理位置划分,假设北京和上海在重点关注的特征上比较相近,则可以作为实验的AB组。
题目19:在没有做AB实验的前提下,如何评估策略迭代的优劣?
考核点:考核候选人对于「替代AB实验类问题」处理方式的理解。
难度系数:4星
AB实验的本质是为了解决「因果问题」,在没有做AB实验的情况下,可以通过:DID(双重拆分法)、传递熵、因果森林等方式进行替代,可以参考「因果推断」文章,感兴趣可以戳蓝字部分。不过总体来说,AB实验仍然是处理因果问题最简单、最直接的方式。
02
实验概念类问题
题目20:为什么说AB实验的本质是假设检验?如何理解假设检验?
考核点:考核候选人对于AB实验本质的理解。
难度系数:3星
AB实验其实是对实验组A与对照组B做出的某种假设,计算两组差异是否存在统计意义上的显著性,最终根据显著结果做出判断。
在假设检验的过程中,逻辑上采用的是反证法,通过「原假设」与「备择假设」进行判断,针对实验而言,原假设:策略对产品没有效果;备择假设:策略对产品有效果。
题目21:如何理解第一类错误和第二类错误?
考核点:考核候选人对于AB实验本质的理解。
难度系数:3星
第一类错误「弃真」:原假设正确,但误判为了错误。即:实验策略没效果,但误判为了有效果。这也是「题目11」中的问题,实验结论与上线结论差异的一个因素,可以戳蓝字部分回看。
第二类错误「存伪」:原假设错误,但是没有被发现。即:实验策略有效果,但是没有检测出来。
题目22:p值是什么?MDE是什么?
考核点:考核候选人对于AB实验本质的理解。
难度系数:3星
P值「p-value」:对于实验而言,指的是实验组A和对照组B在没有差异的前提情况下,仍然检测出来差异的概率,即:出现极端事件的概率。
MDE「Minimum Detectable Effect,最小可检测变化」:实验能有效检测出来的指标差异幅度。一般在实验过程中,通过MDE来评判实验的灵敏度,通俗来讲,在评估实验结论的过程中:
以上就是本期的内容分享。