大模型应用：PCA主成分分析+大模型：解锁高维数据的语义化解读能力.104

# 导入必备库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.datasets import make_blobs

# 设置中文字体（避免可视化时中文乱码）
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# ---------------------- 步骤1：生成模拟用户画像数据 ----------------------
# 生成1000个样本，10个特征，模拟用户画像数据
# 特征对应：年龄、月消费、登录次数、浏览时长、购买频次、收藏商品数、分享次数、差评次数、复购率、优惠券使用次数
np.random.seed(42)  # 固定随机种子，保证结果可复现
X, _ = make_blobs(n_samples=1000, n_features=10, centers=5, random_state=42)

# 构造特征名称和DataFrame
feature_names = [
    '年龄', '月消费', '登录次数', '浏览时长', 
    '购买频次', '收藏商品数', '分享次数', 
    '差评次数', '复购率', '优惠券使用次数'
]
df = pd.DataFrame(X, columns=feature_names)

# 添加少量缺失值和异常值（模拟真实数据）
# 随机添加5%的缺失值
for col in feature_names:
    df.loc[df.sample(frac=0.05).index, col] = np.nan

# 添加异常值（月消费列）
df.loc[df.sample(frac=0.02).index, '月消费'] = df['月消费'] * 10

print("原始数据形状：", df.shape)
print("原始数据前5行：")
print(df.head())

# ---------------------- 步骤2：数据预处理 ----------------------
# 1. 处理缺失值：用均值填充
df = df.fillna(df.mean())

# 2. 处理异常值：3σ原则
def remove_outliers(df, col):
    mean = df[col].mean()
    std = df[col].std()
    # 保留均值±3σ范围内的数据
    df_clean = df[(df[col] >= mean - 3*std) & (df[col] <= mean + 3*std)].copy()
    return df_clean

# 对月消费列处理异常值
df = remove_outliers(df, '月消费')
print(f"异常值处理后数据形状：{df.shape}（移除了{1000 - len(df)}个异常样本）")

# 3. 数据标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(df)
print("\n标准化后数据形状：", X_scaled.shape)
print("标准化后数据前5行：")
print(pd.DataFrame(X_scaled, columns=feature_names).head())

# ---------------------- 步骤3：PCA降维 ----------------------
# 初始化PCA模型，先不指定主成分数量，查看所有主成分的贡献率
pca = PCA()
X_pca = pca.fit_transform(X_scaled)

# 计算贡献率和累计贡献率
explained_variance_ratio = pca.explained_variance_ratio_
cumulative_variance_ratio = np.cumsum(explained_variance_ratio)

# 打印贡献率信息
print("\n各主成分贡献率：")
for i, ratio in enumerate(explained_variance_ratio):
    print(f"主成分{i+1}：{ratio:.2%}")

print("\n各主成分累计贡献率：")
for i, ratio in enumerate(cumulative_variance_ratio):
    print(f"前{i+1}个主成分：{ratio:.2%}")

# 选择累计贡献率≥80%的主成分数量
k = np.argmax(cumulative_variance_ratio >= 0.8) + 1
print(f"\n选择前{k}个主成分，累计贡献率：{cumulative_variance_ratio[k-1]:.2%}")

# 重新训练PCA模型，指定主成分数量
pca_final = PCA(n_components=k)
X_pca_final = pca_final.fit_transform(X_scaled)

# 提取主成分系数（特征向量）
pca_components = pd.DataFrame(
    pca_final.components_.T,  # 转置后，行=原始特征，列=主成分
    columns=[f'主成分{i+1}' for i in range(k)],
    index=feature_names
)
print("\n主成分系数矩阵：")
print(pca_components)

# ---------------------- 步骤4：PCA结果可视化 ----------------------
# 可视化1：贡献率折线图
plt.figure(figsize=(10, 6))
plt.plot(range(1, len(explained_variance_ratio)+1), cumulative_variance_ratio, 'o-', label='累计贡献率')
plt.plot(range(1, len(explained_variance_ratio)+1), explained_variance_ratio, 'o-', label='单个贡献率')
plt.axhline(y=0.8, color='r', linestyle='--', label='80%阈值')
plt.axvline(x=k, color='g', linestyle='--', label=f'选择{k}个主成分')
plt.xlabel('主成分序号')
plt.ylabel('贡献率')
plt.title('PCA主成分贡献率分析')
plt.legend()
plt.grid(True)
plt.savefig('104.PCA主成分贡献率分析 pca_variance_ratio.png', dpi=300, bbox_inches='tight')
plt.show()

# 可视化2：前两个主成分的散点图（降维后数据分布）
plt.figure(figsize=(10, 6))
plt.scatter(X_pca_final[:, 0], X_pca_final[:, 1], alpha=0.6, cmap='viridis', c=np.arange(len(X_pca_final)))
plt.xlabel(f'第一主成分（贡献率：{explained_variance_ratio[0]:.2%}）')
plt.ylabel(f'第二主成分（贡献率：{explained_variance_ratio[1]:.2%}）')
plt.title('用户画像数据PCA降维后分布（前两个主成分）')
plt.colorbar(label='用户序号')
plt.grid(True)
plt.savefig('104.用户画像数据PCA降维后分布 pca_scatter.png', dpi=300, bbox_inches='tight')
plt.show()

# 可视化3：主成分系数热力图
plt.figure(figsize=(12, 8))
import seaborn as sns
sns.heatmap(pca_components, annot=True, cmap='RdBu', center=0)
plt.title('主成分系数热力图')
plt.savefig('104.主成分系数热力图 pca_components_heatmap.png', dpi=300, bbox_inches='tight')
plt.show()

# ---------------------- 步骤5：保存降维后的数据 ----------------------
df_pca = pd.DataFrame(
    X_pca_final,
    columns=[f'主成分{i+1}' for i in range(k)]
)

# 添加用户ID列，便于追踪
df_pca.insert(0, '用户ID', range(1, len(df_pca) + 1))

# 保存到CSV
df_pca.to_csv('用户画像PCA降维结果.csv', index=False, encoding='utf-8-sig')
print("\n降维后数据已保存为：用户画像PCA降维结果.csv")
print(f"降维后数据包含：{len(df_pca)} 个样本，{k} 个主成分")
print("\n降维后数据前5行：")
print(df_pca.head())

import json
from openai import OpenAI

# ---------------------- 步骤1：配置API ----------------------
# 替换为你的腾讯混元API Key
api_key = 'sk-bWl********************NP8Ze'

client = OpenAI(
    api_key=api_key,
    base_url="https://api.hunyuan.cloud.tencent.com/v1",
)

# ---------------------- 步骤2：构造PCA结果输入 ----------------------
pca_result = {
  "业务场景": "电商平台用户画像分析，目标是从10个用户行为特征中提取核心特征，用于用户分层和精准营销",
  "原始特征说明": {
    "年龄": "用户的实际年龄，范围18-60岁",
    "月消费": "用户每月在平台的消费金额，单位元",
    "登录次数": "用户每月登录平台的次数",
    "浏览时长": "用户每天平均浏览平台的时长，单位分钟",
    "购买频次": "用户每月在平台的购买次数",
    "收藏商品数": "用户每月收藏的商品数量",
    "分享次数": "用户每月分享商品/活动的次数",
    "差评次数": "用户每月给出的差评数量",
    "复购率": "用户的复购比例，范围0-1",
    "优惠券使用次数": "用户每月使用优惠券的次数"
  },
  "PCA结果": {
    "主成分数量": 3,
    "累计贡献率": 80.0,
    "单个贡献率": {
      "主成分1": 42.0,
      "主成分2": 25.0,
      "主成分3": 13.0
    },
    "主成分系数矩阵": {
      "年龄": [0.12, 0.78, 0.05],
      "月消费": [0.85, 0.15, 0.08],
      "登录次数": [0.21, 0.32, 0.65],
      "浏览时长": [0.78, 0.22, 0.12],
      "购买频次": [0.82, 0.18, 0.10],
      "收藏商品数": [0.65, 0.25, 0.15],
      "分享次数": [0.58, 0.30, 0.20],
      "差评次数": [-0.42, -0.18, 0.35],
      "复购率": [0.75, 0.22, 0.18],
      "优惠券使用次数": [0.68, 0.28, 0.25]
    }
  },
  "解读要求": {
    "输出格式": "分三部分：1. 整体结论；2. 各主成分业务含义；3. 业务建议；",
    "语言风格": "通俗、专业、简洁，适合电商运营人员阅读",
    "重点": "突出每个主成分的核心特征和营销应用价值"
  }
}

# 将PCA结果转化为提示词
system_prompt = "你是一个资深电商数据分析师，擅长解读数据分析结果"
user_prompt = f"""
请你解读以下PCA（主成分分析）结果，严格按照要求输出：

## PCA分析背景与结果
{json.dumps(pca_result, ensure_ascii=False, indent=2)}

## 解读要求
1. 整体结论：总结PCA降维的核心发现，说明3个主成分的信息覆盖度；
2. 各主成分业务含义：结合系数大小和符号，分析每个主成分的核心特征，用业务术语命名（如"消费能力因子"）；
3. 业务建议：基于主成分含义，给出用户分层、精准营销的具体建议。

输出语言要通俗，避免技术术语，重点突出业务价值。
"""

# ---------------------- 步骤3：调用大模型API ----------------------
def call_hunyuan_api(prompt):
    """调用腾讯混元API解读PCA结果"""
    try:
        response = client.chat.completions.create(
            model='hunyuan-lite',  # 可选：hunyuan-lite（轻量版）、hunyuan-pro（标准版）、hunyuan-turbo（极速版）
            messages=[
                {
                    'role': 'system',
                    'content': '你是一个资深电商数据分析师，擅长解读数据分析结果'
                },
                {
                    'role': 'user',
                    'content': prompt
                }
            ],
            temperature=0.3,  # 温度越低，输出越稳定
            max_tokens=2000,  # 最大输出字数
            top_p=0.8
        )
        # 提取回复内容
        return response.choices[0].message.content
    except Exception as e:
        return f"调用异常：{str(e)}"

# 调用API并获取解读结果
interpretation_result = call_hunyuan_api(user_prompt)

# ---------------------- 步骤4：保存并打印结果 ----------------------
# 保存解读结果到文件
with open('PCA结果大模型解读.txt', 'w', encoding='utf-8') as f:
    f.write(interpretation_result)

# 打印结果
print("="*50)
print("大模型对PCA结果的解读：")
print("="*50)
print(interpretation_result)