利用混元大模型进行数据分析
原创利用混元大模型进行数据分析
原创
最近，腾讯发布了自主研发的大型语言模型：混元大模型。该大模型具备多轮对话能力、内容创作能力、逻辑推理能力、搜索增强和知识图谱等特点。除了对于人类自然语言的理解，混元大模型对于计算机编程语言同样可以进行分析和和生成。
今天我就来用一个很常见的Python开发需求：对一组数据进行采集、整理、可视化分析，来演示下混元大模型在编程辅助开发上所能提供的帮助。
开发实例：学生成绩排名及分布
需求目标是从网页上抓取某班级学生的各科成绩汇总表，然后对分数进行排名，并通过可视化图表展示成绩的分布情况。在开发的过程中，我会使用腾讯混元大模型作为辅助。
先问问混元，一般这种程序要如何来写？
混元给出的建议：
- 获取网页数据
- 数据清洗与处理
- 数据分析与排名
- 数据可视化
- 结果展示
跟我的想法不谋而合，显然这种常见需求难不倒它。那我们就开始实际操作吧。
1、获取数据
为了保证测试环境的稳定，我自己提前准备好了一份测试数据，地址为：
https://python666.cn/static/score.html
首先需要通过代码获取其中的表格数据。
测试网页上只有一个表格，所以只需要回答中的前两个步骤就可以成功获取了。把目标URL代入混元给出的代码中：
import pandas as pd
url = 'https://python666.cn/static/score.html'
data = pd.read_html(url)[0]
print(data)运行效果如下：
2、存储数据
在上一个回答中，混元已经给我们提供了将数据保存为csv文件的方法。不过我想要Excel文件，所以让它再给我改一下。
混元给出的方案是使用pandas的.to_excel方法，把它加入到我们前面的代码中：
import pandas as pd
url = 'https://python666.cn/static/score.html'
data = pd.read_html(url)[0]
data.to_excel("output.xlsx", index=False, engine="openpyxl")执行后得到的Excel文件如下：
3、读取数据
保存完数据之后，再进行处理的话需要从文件中读取出数据。之所以没有在抓取数据后直接处理，是因为把数据保存到本地更方便后续反复操作，这更符合通常数据分析的操作流程。
读取Excel数据的代码很简单，在混元给出的代码上改一下文件名就可以用了：
import pandas as pd
df = pd.read_excel("output.xlsx", sheet_name="Sheet1")
print(df)运行效果如下：
4、清洗数据
成绩表中有一些缺失的分数。对于这些成绩我希望将其替换成0分，以便于后续的计算。
将.fillna(0)方法添加进上一步的代码中：
import pandas as pd
df = pd.read_excel("output.xlsx", sheet_name="Sheet1")
df_filled = df.fillna(0)
print(df_filled)顺利实现需求：
5、数据处理
数据的前期准备都已妥当，下面可以开始做些进一步的处理和分析了。
比如来计算一下每个学生的各科成绩总分和平均分。
混元给出了计算总分和平均分的方法，但有点小问题，计算取的列不对。于是我再提醒它一下：
根据修改后的回答，更新我们的代码：
import pandas as pd
df = pd.read_excel("output.xlsx", sheet_name="Sheet1")
df = df.fillna(0)
mean_values = df.iloc[:, 2:11].mean(axis=1)
sum_values = df.iloc[:, 2:11].sum(axis=1)
df["总分"] = sum_values
df["平均分"] = mean_values
print(df)运行效果如下：
6、数据可视化
最直观展示数据整体情况的方法就是通过可视化图表。
混元给出了matplotlib和seaborn两种方案，整合进之前的代码，呈现出如下效果：
大致意思是对的，细节上还有点小问题：
- 图上的中文图例都显示成了□
- seaborn没有区分平均分和总分两种数据，全部放在一起画分布图
- matplotlib虽然做了区分，但也是画在一张图上，导致比例有点失调
我来让它在matplotlib代码的基础上进一步修正，seaborn的我们暂时就不用了。首先是中文显示的问题：
混元给出的解决方案是通过 plt.rcParams['font.sans-serif'] 设置中文字体。不过它给的 'Microsoft YaHei' 字体我电脑上没有，替换成我系统里有的 'Songti SC'，确实可以解决显示问题：
然后再把这两张分布图分开绘制：
混元给出的方案是根据 matplotlib 的 subplots 方法设置子图表布局，然后在两个子图表上分别绘制。
整合进代码，效果如下：
成功绘制出了总分和平均分两张分布图。
最终的完整代码如下：
import pandas as pd
import matplotlib.pyplot as plt
# 读取Excel中书数据
df = pd.read_excel("output.xlsx", sheet_name="Sheet1")
# 对空值进行填充
df = df.fillna(0)
# 计算总分和平均分
mean_values = df.iloc[:, 2:11].mean(axis=1)
sum_values = df.iloc[:, 2:11].sum(axis=1)
df["总分"] = sum_values
df["平均分"] = mean_values
# print(df)
# 设置中文字体
plt.rcParams['font.sans-serif'] = ['Songti SC']
plt.rcParams['axes.unicode_minus'] = False
# 创建一个2x1的子图表布局
fig, axes = plt.subplots(nrows=2, ncols=1, figsize=(6, 8))
# 绘制总分直方图
axes[0].hist(df['总分'], bins=20, color='blue', edgecolor='black', alpha=0.7)
axes[0].set_title('总分')
axes[0].set_xlabel('分数')
axes[0].set_ylabel('人数')
# 绘制平均分直方图
axes[1].hist(df['平均分'], bins=20, color='red', edgecolor='black', alpha=0.7)
axes[1].set_title('平均分')
axes[1].set_xlabel('分数')
axes[1].set_ylabel('人数')
# 显示图表
plt.tight_layout()
plt.show()总结
以上就是我们借助混元大模型，辅助开发一个数据分析案例的全过程演示。
从结果上来看，混元的确可以给我们在开发程序时提供帮助，提高开发效率。尤其对于数据分析这种开发需求来说，会用到很多第三方模块中的函数，在过去需要频繁查阅文档和搜索网络来了解具体的用法和参数设置，现在借助于大模型，可以很方便地得到示例代码，稍加调整就可以应用在代码中，大大节省了时间。
当然在此过程也会发现，由于程序设计会牵涉到业务需求的细节和具体的数据格式，大模型并不是每次都能直接给出完美的代码。这种情况下，需要使用者针对问题进一步提问，或对给出的代码进行验证和调整。
但总的来说，作为一个「开发助手」的角色，混元大模型已经可以给到开发者实实在在的效率提升。并且，大模型还在不断地进化迭代，期待后续有更令人惊艳的表现。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。