问如何检验预测模型的影响

EN

在营销电子邮件中应用倾向机器学习模型的一种方法是：

• 使用二进制分类器建立机器学习(ML)模型，以预测哪些客户更有可能购买。
• 根据营销预算和联系标准，应将电子邮件发送给更倾向于按预期行事的客户(即购买毕竟)，但将其中一些客户不作为一个控制组进行干预(干预意味着发送新邮件，而不是干预发送旧邮件)：

在这种情况下，您可以：

• 使用选定的度量(AUC，recall.)评估您的ML模型性能(一旦它在生产中，一旦它已经被用于运动)。对于未接受任何干预的客户群体(本例中的新邮件)，它可能使用的是B&D。
• 另一方面，通过使用假设测试和置换测试等方法，对收到新邮件的客户和没有收到邮件的客户(A和B)进行比较，评估活动的有效性；您的无效假设是，接收和不接收电子邮件的客户之间没有实际的差别(效果)，您想要检验它是否真的是错误的(即，拒绝此假设，确认该活动实际上是有效的。您可以遵循以下步骤(信息来源)：

1. 计算样本A和B (n &m尺寸)的统计量的差异
2. 将所有度量合并到一个数据集中。
3. 从2中数据集的所有可能排列中绘制一个置换数据集。
4. 将置换数据集划分为大小为n和m的两个数据集A‘和B’
5. 计算这些样本的差异并记录此差异。
6. 重复步骤3-5，直到对所有(或充分的)排列进行评估。
7. 将p值作为记录差异的次数至少与原始差值一样极端(从1开始陡峭)，然后除以排列总数。

衡量干预成功的基本方法(如电子邮件活动)是进行A/B测试。为了更深入地了解哪些客户部分更多或更少受到该活动的影响，您应该使用来自"uplift建模“领域的方法。你可以在网上找到大量的资料。

举个例子，在运行A/B测试之后，您可以使用“转换结果方法”计算一个新的响应变量y^*=\frac{ y*I_{treated}}{p_{treated}}+ \frac{y*I_{\text{not treated}}}{p_{\text{not treated}}}，然后您可以以y^*为目标运行您喜欢的任何ML模型，并且您将得到预期的治疗效果作为预测变量(例如国家)的函数。

这里有几篇文章可以让你开始：

https://towardsdatascience.com/a-quick-uplift-modeling-introduction-6e14de32bfe0

https://towardsdatascience.com/uplift-modeling-e38f96b1ef60

我还编写了一个R包，它在R：https://github.com/IyarLin/segmenTree中使用了上述方法