用可视化技术打开AI模型的黑箱

# 科学家的工具箱
import matplotlib.pyplot as plt  # 绘图界的瑞士军刀
import seaborn as sns            # 统计可视化的美学大师
import pandas as pd              # 数据整理的魔法书
import numpy as np               # 数值计算的基石

# 设置画布风格
sns.set(style="whitegrid",        # 白色网格背景
        palette="husl",          # 彩虹色系
        font_scale=1.3)          # 放大字体

# 魔法指令让图表内嵌显示
%matplotlib inline

import matplotlib.pyplot as plt

import seaborn as sns
import pandas as pd

learning_history = {

    'epochs': range(1, 11),
    'train_loss': [2.1, 1.5, 1.2, 0.9, 0.7, 0.6, 0.5, 0.4, 0.3, 0.25],
    'val_loss': [2.0, 1.8, 1.6, 1.5, 1.4, 1.4, 1.4, 1.45, 1.5, 1.55]
}

# Convert range to list for epochs
epochs = list(learning_history['epochs'])

plt.figure(figsize=(10, 6))
sns.lineplot(x='epochs', y='value', hue='variable', 
             data=pd.DataFrame({
                 'epochs': epochs * 2,
                 'value': learning_history['train_loss'] + learning_history['val_loss'],

                 'variable': ['训练损失'] * 10 + ['验证损失'] * 10
             }))
plt.title('模型损失曲线')
plt.xlabel('训练轮次')
plt.ylabel('损失值')
plt.annotate('出现过拟合!', xy=(7, 1.4), xytext=(5, 1.8),
             arrowprops=dict(facecolor='red', shrink=0.05))
plt.show()

plt.figure(figsize=(10, 6))
ax = sns.lineplot(x='epochs', y='accuracy', data=pd.DataFrame({
    'epochs': learning_history['epochs'],
    'accuracy': [0.65, 0.72, 0.78, 0.82, 0.85, 0.87, 0.89, 0.91, 0.93, 0.95]
}))
ax.yaxis.set_major_formatter(plt.FuncFormatter(lambda x, _: f"{x:.0%}"))  # 转换为百分比
plt.axhline(y=0.9, color='green', linestyle='--', label='目标阈值')
plt.fill_between(learning_history['epochs'], 0.65, 0.95, alpha=0.1)

# 生成医疗诊断案例的混淆矩阵
diagnosis_labels = ['肺炎', '肺结核', '健康']
confusion = np.array([[85, 5, 10],
                     [8, 72, 20],
                     [2, 3, 95]])

plt.figure(figsize=(10, 8))
sns.heatmap(confusion, annot=True, fmt='d', cmap='YlGnBu',
            xticklabels=diagnosis_labels,
            yticklabels=diagnosis_labels)
plt.title('呼吸系统疾病诊断混淆矩阵')
plt.xlabel('预测诊断')
plt.ylabel('真实病情')

# 绘制三类疾病的ROC曲线
plt.figure(figsize=(10, 8))
for i, disease in enumerate(diagnosis_labels):
    fpr, tpr, _ = roc_curve(y_true_bin[:,i], y_pred_proba[:,i])
    plt.plot(fpr, tpr, lw=2, 
             label=f'{disease} (AUC={auc(fpr, tpr):.2f})')
plt.plot([0, 1], [0, 1], 'k--', label='随机猜测')
plt.axis([0, 1, 0, 1])
plt.xlabel('误诊率')
plt.ylabel('确诊率')
plt.title('疾病诊断ROC曲线')
plt.legend(loc='lower right')

# 房价预测模型的特征分析
features = ['学区质量', '房屋面积', '建造年份', '交通便利度', '周边配套']
importance = [0.32, 0.28, 0.18, 0.15, 0.07]

plt.figure(figsize=(10, 6))
sns.barplot(y=features, x=importance, palette='RdBu')
plt.title('房价预测特征重要性')
plt.xlabel('影响权重')
plt.annotate('关键因素', xy=(0.3, 0), xytext=(0.25, -0.5),
             arrowprops=dict(arrowstyle="->", color='darkred'))

import matplotlib.pyplot as plt
import seaborn as sns

# 首先确保你已经正确加载了数据
# 例如: data = pd.read_csv('your_data.csv')

# 生成信用卡评分特征相关性矩阵
plt.figure(figsize=(10, 8))
sns.heatmap(data.corr(), annot=True, cmap='icefire', center=0)
plt.title('信用评分特征相关性')
plt.show()

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

# 假设我们有一些示例数据（替换成你的真实数据）
np.random.seed(42)
X = np.random.rand(100, 3) * 100  # 特征（3个特征）
y = 50 + X[:, 0] * 2 + X[:, 1] * 1.5 + X[:, 2] * 0.5 + np.random.randn(100) * 10  # 血糖值（目标）

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练模型
model = LinearRegression()
model.fit(X_train, y_train)

# 预测测试集
y_pred = model.predict(X_test)  # 预测值
y_true = y_test  # 真实值

# 绘制预测 vs 真实值
plt.figure(figsize=(8, 8))
sns.regplot(x=y_true, y=y_pred, 
           scatter_kws={'alpha':0.5},
           line_kws={'color':'red'})
plt.plot([50, 200], [50, 200], 'g--', label='理想线')  # 理想情况 y_pred = y_true
plt.title('血糖预测值与真实值对比')
plt.xlabel('真实值 (mg/dL)')
plt.ylabel('预测值 (mg/dL)')
plt.legend()
plt.show

import matplotlib.pyplot as plt
import seaborn as sns

# 假设 y_true 和 y_pred 已经定义
residuals = y_true - y_pred

plt.figure(figsize=(12, 5))

# 残差分布
plt.subplot(1, 2, 1)
sns.histplot(residuals, kde=True, bins=20)
plt.title('预测误差分布')

# 残差-预测值关系
plt.subplot(1, 2, 2)
sns.scatterplot(x=y_pred, y=residuals)
plt.axhline(0, color='red', linestyle='--')
plt.title('误差随预测值变化趋势')

plt.tight_layout()  # 避免子图重叠
plt.show()