Pandas模块的基础操作-学习笔记
作者：孙湛林
来源：快学Python
基于pandas的一些金融常用基本操作
一、数据结构
1. 序列 Series
序列一般只有两列，一列是索引 index，一列是数据。
# 手动输入方式创建
return_series1 = pd.Series([0.003731, -0.001838, -0.003087, -0.024112], index=['中国石油', '工商银行', '上汽集团', '宝钢股份'])
# 通过数组生成序列
return_array = np.array([[0.003731, 0.021066, -0.004854, 0.006098, -0.00606],
[-0.001838, 0.001842, -0.016544, -0.003738, 0.003752],
[-0.003087, -0.000344, -0.033391, 0.007123, 0.004597],
[-0.024112, 0.011704, -0.029563, -0.01457, 0.016129]])
return_series2 = pd.Series(return_array[:,0], index=['中国石油', '工商银行', '上汽集团', '宝钢股份'])
2. 数据框 DataFrame
数据框的创建
date = ['2018-09-03', '2018-09-04', '2018-09-05', '2018-09-06', '2018-09-07']
stock = ['中国石油', '工商银行', '上汽集团', '宝钢股份']
return_dataframe = pd.DataFrame(data=return_array.T, index=date, columns=stock)
数据框导出成excel或csv等格式
如果导出csv格式有乱码，可以加上encoding='utf_8_sig'
return_dataframe.to_excel('xxx.xlsx')
return_dataframe.to_csv('费乱码.csv', encoding='utf_8_sig')
数据框导入
data =pd.read_excel('xxx.xlsx')
二、数据框的可视化
1. 中文字体的可视化
必须输入这一步，否则会出现字体是方框。
from pylab import mpl
mpl.rcParams['font.sans-serif'] = ['SimHei']
mpl.rcParams['axes.unicode_minus'] = False
# 常用字体对应名称
2. 可视化的函数及参数
需要注意的是，中文字符前加一个 u
HS300_excel1.plot(kind='line', subplots=True, sharex=True, sharey=True, layout=(2,2), figsize=(10,8),
title=u'2018年沪深300 指数走势图', grid=True, fontsize=13)
三、数据框内部的操作
1. 数据框基本性质
index 和 columns 查看列名和行名
HS300_excel1.index
HS300_excel1.columns
shape 和 describe
HS300_excel1.shape #返回数组形状
HS300_excel1.describe() #返回数组个数均值等信息
2. 索引和切片
索引 使用loc 或 iloc索引
切片 切片操作左闭右开
# 切第8行-13行，第2、3列
HS300_excel1.iloc[7:13, 1:3]
条件筛选切片
# 筛选收盘价大于4300的数据
HS300_excel1[HS300_excel1['收盘点位']>=4300]
3. 排序
按行索引大小排序 sort_index函数
- False代表降序大==>小，axis=0是行索引排序
- axis=1则是列索引排序
# 按照行索引排序
HS300_excel1.sort_index(ascending=False, axis=0)
以某列数值大小为依据排序
参数同理False为降序
# 以收盘 开盘价为依据，排序
HS300_excel1.sort_values(by=['收盘点位', '开盘点位']) #排序两个则传入列表
4. 数据框的修改
修改列名
HS300_colchange = HS300_excel1.rename(columns={'收盘点位': '收盘价格_改'})
缺失值的处理
一种是删除，即删除有缺失值的行 另一种是填补，将特定值（或前值后值）替换缺失
stock_dropna = stock.dropna() #任意列有空删除整行数据
stock_fillna = stock.fillna(value=0) #缺失值补0
stock_fillna = stock.fillna(method='ffill') #前值补缺
stock_fillna = stock.fillna(method='bfill') # 后值补缺
四、数据框之间的操作
1. concat拼接
pd.concat([数据1，数据2，数据3·····], axis=0 或 1)
HS300_new = pd.concat([HS300_excel1, HS300_excel2], axis=0) #按行，上下拼接
stock_new = pd.concat([stock2, stock],axis=1) # 按列，左右拼接
2. merge拼接
left_index=True 意味着左侧数据按照index进行拼接，右侧同理。如果左右index不完全一致，左右都是True则拼接相同项，相当于inner。如果left_index是False，则需要left_on 给一个对比项才能拼。
pd.merge(left=stock_4, right=stock2, left_index=True, right_index=True)
3. join 拼接
问题在于只能按照某个索引进行拼接，默认根据两个数据的index进行拼接
stock.join(stock2, on='日期')
五、主要统计函数
1. 常用静态统计函数
2. 移动窗口与动态统计函数
时间点的数据往往波动较大，因此某一时间点的数据通常不能很好的反馈数据本身的特性，因此就需要用一段时间区间的数据进行描述。即提升数据可靠性，将某个点的取值扩大到包含这个点的一段区间，并用区间进行判断，这个区间就是窗口。
数据框.rolling(window=窗口数, axis=0 或 1).统计量函数(axis=0 或 1)
移动平均
HS300_meanclose = HS300_new['收盘点位'].rolling(window=20).mean() # 20日平均的序列
HS300_meanclose.plot(figsize=(15, 12), title=u'2016-2018年沪深300指数走势', grid=True, fontsize=12)
移动方差（波动率）
HS300_rollingstd = HS300_new['收盘点位'].rolling(window=60).std() # 60天移动方差
HS300_rollingstd.plot(figsize=(10,7), title=u'2016-2018年沪深300指数波动率的走势', grid=True, fontsize=12)
移动相关系数
变量之间的相关系数也会随时间变化，特别是一些特殊时期许多原本相关性很低的变量呈现高相关性。
HS300_rollingcorr = HS300_new.rolling(window=30).corr().dropna()
HS300_rollingcorr.head(20)
腾讯云开发者
