如何为使用KFold CV训练的分类模型绘制ROC和PR曲线

要为使用KFold交叉验证（KFold CV）训练的分类模型绘制ROC（接收者操作特征曲线）和PR（精确率-召回率曲线），你需要执行以下步骤：

基础概念

ROC曲线：展示在不同阈值下，真正例率（True Positive Rate, TPR）和假正例率（False Positive Rate, FPR）的关系。
PR曲线：展示在不同阈值下，精确率（Precision）和召回率（Recall）的关系。
KFold CV：一种交叉验证技术，将数据集分成K个大小相等的子集，每次用K-1个子集训练模型，剩下的一个子集用来验证模型性能。

类型

二分类ROC/PR曲线：适用于二分类问题。
多分类ROC/PR曲线：通过一对多（One-vs-Rest）或一对一（One-vs-One）策略扩展到多分类问题。

应用场景

模型评估：用于评估分类模型的性能，特别是在不平衡数据集中。
阈值选择：帮助选择最佳的决策阈值。

如何绘制ROC和PR曲线

以下是一个使用Python和Scikit-learn库绘制ROC和PR曲线的示例代码：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import KFold, cross_val_predict
from sklearn.metrics import roc_curve, precision_recall_curve, auc
from sklearn.linear_model import LogisticRegression

# 生成模拟数据
X, y = make_classification(n_samples=1000, n_features=20, random_state=42)

# 初始化KFold
kf = KFold(n_splits=5, shuffle=True, random_state=42)

# 初始化模型
model = LogisticRegression()

# 存储每个fold的预测概率
y_scores = []

# KFold交叉验证
for train_index, test_index in kf.split(X):
    X_train, X_test = X[train_index], X[test_index]
    y_train, y_test = y[train_index], y[test_index]
    
    # 训练模型
    model.fit(X_train, y_train)
    
    # 预测概率
    y_score = model.predict_proba(X_test)[:, 1]
    y_scores.append(y_score)

# 合并所有fold的预测概率
y_scores = np.concatenate(y_scores)
y_true = np.concatenate([y[test_index] for _, test_index in kf.split(X)])

# 计算ROC曲线
fpr, tpr, _ = roc_curve(y_true, y_scores)
roc_auc = auc(fpr, tpr)

# 计算PR曲线
precision, recall, _ = precision_recall_curve(y_true, y_scores)
pr_auc = auc(recall, precision)

# 绘制ROC曲线
plt.figure(figsize=(10, 5))
plt.subplot(1, 2, 1)
plt.plot(fpr, tpr, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], 'k--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic')
plt.legend(loc="lower right")

# 绘制PR曲线
plt.subplot(1, 2, 2)
plt.plot(recall, precision, label='PR curve (area = %0.2f)' % pr_auc)
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('Precision-Recall Curve')
plt.legend(loc="lower left")

plt.tight_layout()
plt.show()