「求职」22道数据分析面试题，涵盖95%常考知识点『AB实验篇-下』

预计阅读时间：6min

解决痛点：本系列为大家总结了面试中常考的22道AB实验问题，涵盖接近100%的知识点，对于准备找工作的你会有很大帮助。

00

序言

AB实验是数据分析面试中避不开的一个话题，小火龙为大家总结了7个大方向的问题，分别为：「实验理解类问题」、「实验设计类问题」、「实验运行类问题」、「实验评估类问题」、「实验放量类问题」、「特殊实验类问题」、「实验概念类问题」，涵盖了绝大多数常考知识点。

之前的文章中分享了前五个方面问题，可以戳：

「求职」22道数据分析面试题，涵盖95%常考知识点『AB实验篇-上』

「求职」22道数据分析面试题，涵盖95%常考知识点『AB实验篇-中』

本篇为大家带来最后两个方面知识点。

01

特殊实验类问题

题目17：实验第一天在满足样本量前提下，策略指标表现均显著提升，可否直接得出结论？如何判断是否有新奇效应？以及如何剔除影响？

考核点：考核候选人对于「新奇效应」的理解。

难度系数：4星

不可以得出结论。一方面：由于实验需要一个完整自然周，避免周期因素影响；另一方面：由于策略的改动可能引起用户的新奇效应。

那么什么是新奇效应呢？简单介绍一下：

扫盲 – 新奇效应

新奇效应主要出现在老用户身上，老用户会对原始产品产生习惯性，因此在产品策略改动时，往往会表现出“非专家用户”的短期行为。

举个例子

新产品迭代，老用户开始应用不习惯，初始指标下跌，后续逐渐恢复平稳；

新产品迭代，老用户好奇，消费提升，初始指标上涨，后续逐渐恢复平稳。

判断是否存在新奇效应，主要有两点：

其一：指标趋势逐步趋稳。观察指标差异是否随着时间持续，逐步趋于稳定。有新奇效应的实验，往往实验前期波动较大，后续逐步趋于稳定。

其二：策略新用户占比。由于新奇效应主要出现在策略新用户上，因此策略新用户占比越高，新奇效应的可能性也就越大。这里注意一下，策略新用户 ≠ 产品新用户，例如：老用户第一次看到新策略，这种用户算作策略新用户，但并非产品新用户。

当发掘有新奇效应时，要如何在评估中克服呢？同样有两点：

其一：拉长实验周期。待指标趋势平稳后，再产出实验结论。

其二：用户分层分析。重点关注「产品新用户」与「策略老用户」，因为新奇效应主要出现在产品老用户+策略新用户上。

题目18：针对存在网络效应的产品，要如何设计实验？有哪些注意点？

考核点：考核候选人对于「网络效应」的理解。

难度系数：4星

同上一题，先简单介绍一下什么是网络效应：

扫盲 – 网络效应

产品可以划分为「单边产品」和「多边产品」。

单边产品，例如：搜索引擎，用户使用之间是不会相互干扰的；

多边产品：例如：聊天软件，用户之间存在互通，一方影响会传导到另外一方。

而这种「多边产品」用户之间相互影响的情况，我们称之为网络效应。

那么，网络效应为什么会影响实验呢？

举个例子

微信在进行策略迭代时，随机选择两拨人群作为实验组A和对照组B。新策略在A组中执行，假设策略使得A组用户聊天频次显著提升，而社交性产品由于存在交互性，往往会导致B组用户的聊天频次也相应提升。这种AB组用户直接或间接干扰的情况，则是网络效应对实验的影响。

那么针对存在网络效应的实验，要如何开展实验呢？关注以下两步：

步骤一：将用户按照地理位置、社会群体等方式进行用户群体切割，AB桶分别选择相对独立的两个群体。

步骤二：由于群体之间是存在差异性的，因此需要尽可能选择相似的用户群体，结合PSM等方式进行评估。例如：按照地理位置划分，假设北京和上海在重点关注的特征上比较相近，则可以作为实验的AB组。

题目19：在没有做AB实验的前提下，如何评估策略迭代的优劣？

考核点：考核候选人对于「替代AB实验类问题」处理方式的理解。

难度系数：4星

AB实验的本质是为了解决「因果问题」，在没有做AB实验的情况下，可以通过：DID（双重拆分法）、传递熵、因果森林等方式进行替代，可以参考「因果推断」文章，感兴趣可以戳蓝字部分。不过总体来说，AB实验仍然是处理因果问题最简单、最直接的方式。

02

实验概念类问题

题目20：为什么说AB实验的本质是假设检验？如何理解假设检验？

考核点：考核候选人对于AB实验本质的理解。

难度系数：3星

AB实验其实是对实验组A与对照组B做出的某种假设，计算两组差异是否存在统计意义上的显著性，最终根据显著结果做出判断。

在假设检验的过程中，逻辑上采用的是反证法，通过「原假设」与「备择假设」进行判断，针对实验而言，原假设：策略对产品没有效果；备择假设：策略对产品有效果。

题目21：如何理解第一类错误和第二类错误？

考核点：考核候选人对于AB实验本质的理解。

难度系数：3星

第一类错误「弃真」：原假设正确，但误判为了错误。即：实验策略没效果，但误判为了有效果。这也是「题目11」中的问题，实验结论与上线结论差异的一个因素，可以戳蓝字部分回看。

第二类错误「存伪」：原假设错误，但是没有被发现。即：实验策略有效果，但是没有检测出来。

题目22：p值是什么？MDE是什么？

考核点：考核候选人对于AB实验本质的理解。

难度系数：3星

P值「p-value」：对于实验而言，指的是实验组A和对照组B在没有差异的前提情况下，仍然检测出来差异的概率，即：出现极端事件的概率。

MDE「Minimum Detectable Effect，最小可检测变化」：实验能有效检测出来的指标差异幅度。一般在实验过程中，通过MDE来评判实验的灵敏度，通俗来讲，在评估实验结论的过程中：

• MDE<真实提升率：指标评估置信。
• MDE>真实提升率：指标评估缺乏置信。可以通过扩大样本量的方式，降低可有效检测的MDE值。

以上就是本期的内容分享。