通过交叉验证计算AUC 95%的CI (Python、sklearn)

通过交叉验证计算AUC 95%的CI（Python、sklearn）

AUC（Area Under the Curve）是评估分类模型性能的一种常用指标，表示ROC曲线下的面积。在机器学习中，我们通常使用交叉验证来评估模型的性能，并计算AUC的置信区间（Confidence Interval）来衡量其稳定性和可靠性。

在Python中，可以使用scikit-learn（sklearn）库来进行交叉验证和计算AUC的置信区间。下面是一个完整的示例代码：

from sklearn import metrics
from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression

# 假设已经准备好了特征矩阵X和目标变量y

# 创建逻辑回归模型
model = LogisticRegression()

# 使用交叉验证计算AUC
auc_scores = cross_val_score(model, X, y, cv=5, scoring='roc_auc')

# 计算AUC的置信区间
ci_lower = auc_scores.mean() - 1.96 * auc_scores.std()
ci_upper = auc_scores.mean() + 1.96 * auc_scores.std()

# 打印结果
print("AUC: %.3f" % auc_scores.mean())
print("95%% CI: [%.3f, %.3f]" % (ci_lower, ci_upper))

在上述代码中，我们首先导入了需要的库，包括metrics用于计算AUC，cross_val_score用于进行交叉验证，LogisticRegression用于创建逻辑回归模型。

接下来，我们创建了一个逻辑回归模型，并使用cross_val_score函数进行交叉验证。其中，cv=5表示使用5折交叉验证，scoring='roc_auc'表示评估指标为AUC。

然后，我们通过auc_scores.mean()计算平均AUC值，并使用auc_scores.std()计算AUC的标准差。最后，根据公式mean - 1.96 * std和mean + 1.96 * std计算AUC的置信区间的下界和上界。

最后，我们打印出AUC的平均值和95%的置信区间。

需要注意的是，以上代码只是一个示例，实际应用中需要根据具体情况进行适当的修改和调整。

推荐的腾讯云相关产品和产品介绍链接地址：