前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Python-for-data-移动窗口函数

Python-for-data-移动窗口函数

作者头像
皮大大
发布2021-03-01 14:44:02
发布2021-03-01 14:44:02
2.3K00
代码可运行
举报
运行总次数:0
代码可运行

Python-for-data-移动窗口函数

本文中介绍的是\color{red}{移动窗口函数},主要的算子是:

  • rolling算子
  • expanding算子
  • ewm算子

移动窗口函数

统计和通过其他移动窗口或者指数衰减而运行的函数,称之为移动窗口函数

代码语言:javascript
代码运行次数:0
运行
复制
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
代码语言:javascript
代码运行次数:0
运行
复制
close_px_all = pd.read_csv("./examples/stock_px_2.csv"
                           ,parse_dates=True  # 解析时间
                           ,index_col=0)
代码语言:javascript
代码运行次数:0
运行
复制
close_px = close_px_all[["AAPL","MSFT","XOM"]]
close_px = close_px.resample("B").ffill()
close_px

.dataframe tbody tr th:only-of-type { vertical-align: middle; } <pre><code>.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; } </code></pre>

AAPL

MSFT

XOM

2003-01-02

7.40

21.11

29.22

2003-01-03

7.45

21.14

29.24

2003-01-06

7.45

21.52

29.96

2003-01-07

7.43

21.93

28.95

2003-01-08

7.28

21.31

28.83

...

...

...

...

2011-10-10

388.81

26.94

76.28

2011-10-11

400.29

27.00

76.27

2011-10-12

402.19

26.96

77.16

2011-10-13

408.43

27.18

76.37

2011-10-14

422.00

27.27

78.11

2292 rows × 3 columns

代码语言:javascript
代码运行次数:0
运行
复制
close_px.AAPL.plot()
rolling算子

rolling算子,行为和resample和groupby类似

rolling可以在S或者DF上通过一个window进行调用

代码语言:javascript
代码运行次数:0
运行
复制
# 图形更加地平滑:根据250日滑动窗口分组,而不是直接分组
close_px.AAPL.rolling(250).mean().plot()
代码语言:javascript
代码运行次数:0
运行
复制
appl_std250 = close_px.AAPL.rolling(250,min_periods=10).std()
appl_std250[5:12]
代码语言:javascript
代码运行次数:0
运行
复制
2003-01-09         NaN
2003-01-10         NaN
2003-01-13         NaN
2003-01-14         NaN
2003-01-15    0.077496
2003-01-16    0.074760
2003-01-17    0.112368
Freq: B, Name: AAPL, dtype: float64
代码语言:javascript
代码运行次数:0
运行
复制
# 滚动窗口函数需要窗口中所有的值必须是非NaN值
# 如果存在缺失值,时间序列的起始位置的数据必须是少于窗口区间的
appl_std250.plot()
代码语言:javascript
代码运行次数:0
运行
复制
<matplotlib.axes._subplots.AxesSubplot at 0x11ee210d0>
在DF上调用移动窗口函数作用到每列
代码语言:javascript
代码运行次数:0
运行
复制
close_px.rolling(60).mean().plot(logy=True)
代码语言:javascript
代码运行次数:0
运行
复制
## rolling算子接收固定大小的时间偏置字符串
close_px.rolling("20D").mean()

.dataframe tbody tr th:only-of-type { vertical-align: middle; } <pre><code>.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; } </code></pre>

AAPL

MSFT

XOM

2003-01-02

7.400000

21.110000

29.220000

2003-01-03

7.425000

21.125000

29.230000

2003-01-06

7.433333

21.256667

29.473333

2003-01-07

7.432500

21.425000

29.342500

2003-01-08

7.402000

21.402000

29.240000

...

...

...

...

2011-10-10

389.351429

25.602143

72.527857

2011-10-11

388.505000

25.674286

72.835000

2011-10-12

388.531429

25.810000

73.400714

2011-10-13

388.826429

25.961429

73.905000

2011-10-14

391.038000

26.048667

74.185333

2292 rows × 3 columns

扩展均值算子 expanding
代码语言:javascript
代码运行次数:0
运行
复制
# 调用扩展均值算子
expanding_mean = appl_std250.expanding().mean()
expanding_mean
代码语言:javascript
代码运行次数:0
运行
复制
2003-01-02          NaN
2003-01-03          NaN
2003-01-06          NaN
2003-01-07          NaN
2003-01-08          NaN
                ...
2011-10-10    18.521201
2011-10-11    18.524272
2011-10-12    18.527385
2011-10-13    18.530554
2011-10-14    18.533823
Freq: B, Name: AAPL, Length: 2292, dtype: float64

指数加权函数

指定一个常数衰减因子为观测值提供更多的权重。常用指定衰减因子的方法:使用span(跨度)

ewm算子
代码语言:javascript
代码运行次数:0
运行
复制
# 将苹果公司的股票价格的60日均线和span=60的EW移动均线进行比较
appl_px = close_px.AAPL["2006":"2007"]
ma60 = appl_px.rolling(30,min_periods=20).mean()
代码语言:javascript
代码运行次数:0
运行
复制
ewma60 = appl_px.ewm(span=30).mean()
rolling和ewm对比
代码语言:javascript
代码运行次数:0
运行
复制
ma60.plot(style="k--",label="Simple MA")
代码语言:javascript
代码运行次数:0
运行
复制
ewma60.plot(style="k-",label="EWMA")

二元移动窗口函数rolling+corr

一些统计算子,例如相关度和协方差等需要同时操作两个时间序列。

例如,金融分析中的股票和基准指数的关联性问题:计算时间序列的百分比变化pct_change()

代码语言:javascript
代码运行次数:0
运行
复制
close_px_all[:5]

.dataframe tbody tr th:only-of-type { vertical-align: middle; } <pre><code>.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; } </code></pre>

AAPL

MSFT

XOM

SPX

2003-01-02

7.40

21.11

29.22

909.03

2003-01-03

7.45

21.14

29.24

908.59

2003-01-06

7.45

21.52

29.96

929.01

2003-01-07

7.43

21.93

28.95

922.93

2003-01-08

7.28

21.31

28.83

909.93

计算苹果和标普500的相关性
代码语言:javascript
代码运行次数:0
运行
复制
spx_px = close_px_all["SPX"]  # 选择某列的数据
spx_rets = spx_px.pct_change()  # 计算该列的百分比变化
代码语言:javascript
代码运行次数:0
运行
复制
returns = close_px.pct_change()  # 计算整个数据的百分比变化
代码语言:javascript
代码运行次数:0
运行
复制
# 调用rolling后,corr聚合函数可以根据spx_rets计算滚动相关性

# 计算returns和spx_rets的相关性
corr = returns.AAPL.rolling(125,min_periods=100).corr(spx_rets)
corr.plot()
计算全部公司和标普500的相关性
代码语言:javascript
代码运行次数:0
运行
复制
corr = returns.rolling(125,min_periods=100).corr(spx_rets)
corr.plot()

自定义移动窗口函数

在rolling及其相关方法上使用apply方法提供了一种在移动窗口中应用自己设计的数组函数的方法。

唯一要求:该函数从每个数组中产生一个单值(缩聚),例如使用rolling()…quantile(q)计算样本的中位数

代码语言:javascript
代码运行次数:0
运行
复制
# 定值的百分位数:scipy.stats.percentileofscore
from scipy.stats import percentileofscore
代码语言:javascript
代码运行次数:0
运行
复制
score_at_2percent = lambda x: percentileofscore(x,0.02)
result = returns.AAPL.rolling(250).apply(score_at_2percent)

result.plot()
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-5-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 移动窗口函数
    • rolling算子
    • 在DF上调用移动窗口函数作用到每列
    • 扩展均值算子 expanding
  • 指数加权函数
    • ewm算子
    • rolling和ewm对比
  • 二元移动窗口函数rolling+corr
    • 计算苹果和标普500的相关性
    • 计算全部公司和标普500的相关性
  • 自定义移动窗口函数
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档