这是 Python 进阶课的第十二节 - 负油价和负利率模型，进阶课的目录如下： NumPy 上 NumPy 下 Pandas 上 Pandas 下 SciPy 上 SciPy 下 Pandas 时间序列...Nelson Siegel 实现 数据处理 模型优化 结果分析 当我们谈论收益曲线模型时，有两种情况： 在给定时间点的收益率曲线的形式 (at a point of time) 收益率曲线随时间变化的动态...β1 的因子载荷是单调递减，从1 很快的衰减到 0，这表明 β1 对短端利率的影响较大，因此 β1 可控制曲线斜率（slope），影响着利率曲线的斜率程度。...τ 是 β1 和 β2 的因子载荷的衰减速度，该值越大衰减越快。 核心代码如下： 拟合结果如下： 对比债券市场和模型价格： 对比债券市场和模型收益率： 本节内容绝对硬核，就等你来学！...付费用户（付 1 赠 1）可以获得： 观看课程视频 (98 分钟) Python 代码 (Jupyter Notebook) Jupyter Notebook
作者：东哥起飞，来源：Python数据科学 当我们拿到时序数据后，首先要进行平稳性和纯随机性的检验，这两个重要的检验是时间序列的预处理。...根据检验的结果可以判断出序列属于什么类型，然后对症下药使用相应的分析方法。 本篇讲解平稳性的检验方法。...关于自相关的概念可以参考这篇 时间序列 ACF 和 PACF 理解、代码、可视化 先抛出判断标准：平稳序列通常具有短期相关性，即随着滞后期数 k 增加，平稳序列的自相关系数会很快地向零衰减，而非平稳时序的自相关系数向零衰减的速度比较慢...非平稳时序： ACF相关性下降非常缓慢，很很长的滞后期里，自相关系数一直为正，随后又一直为负，显示出明显的三角对称性，这是具有单调趋势的非平稳序列的典型特征。...以上是根据自相关图特征进行的判断，关于这几种时序的概念和介绍可以参考：时间序列平稳性、白噪声、随机游走 自相关图的判断方法可以总结为以下几个特点。
代码实现 以下的Python代码说明了ADF检验在苹果股票价格中的应用。尽管股票价格很少意味着回归，但股票对数收益通常是。下面的Python代码获取对数差异，绘制结果并应用ADF检验。...可以通过分析序列的扩散速度并将其与随机游走的扩散速度进行比较来完成。此过程将使我们想到Hurst指数的概念，正如我们将看到的，它与分形指数紧密相关。...使用简单的二项式展开式，可以用伽玛函数表示该方程式： ? 比较简单的AR(1)过程的自相关函数，我们发现后者的自相关函数的衰减率比前者的自相关函数慢得多。例如，对于τ〜25的滞后： ?...衰减非常缓慢的自相关过程称为长记忆过程。这样的过程对过去的事件有一些记忆（过去的事件对未来的事件有衰减的影响）。长记忆过程的特点是自相关函数ρ(τ)幂律衰减： ? α和Hurst指数之间的关系： ?...首先运行以下代码，它的滞后时间范围为2到20： import numpy as np import pandas as pd import pandas_datareader as pdr from statsmodels.tsa.stattools
在本文中，我们使用Python的Keras进行实验，尝试两种不同的学习率衰减方法来训练我们的神经网络模型。 本文解决的主要问题： 如何配置和评估连续衰减的学习率规划器。...模型训练中的学习率规划器 在使用梯度下降算法的机器学习模型中，相比恒定的学习率，使用自适应的学习率可以提升模型的性能，缩短训练时间。 由此，学习率规划器也被称为学习率的模拟退火，自适应学习率。...在每批次的训练结束后，默认情况下学习率规划器将使用相同的学习率更新权重。 在训练过程中，最简单的调整学习率的方法就是让学习率随着时间的推移而不断衰减。...在训练开始时，我们通常使用较大的学习率来让模型快速达到较好的性能，随后通过衰减学习率使模型权重更好地逼近最优的配置。 这就是学习率规划器可以达到更快的速度和更优的性能的原因。...# 阶梯式下降的学习率衰减计划器 import pandas from pandas import read_csv import numpy import math from keras.models
除了诗歌和爱情，这篇论文把公众对电影，传记，专利文章以及艺术作品的注意力时间变化进行了量化。...第二种机制是时间衰减，这是科学家通过比较观察到的，在这个阶段也分为两个小的阶段，即快速衰减阶段和缓慢衰减阶段。这也是为什么集体对某事物的关注度会以指数函数的形式衰减。 ?...对各种传播平台进行研究得出的注意力衰退曲线 总的来说，集体注意力会沿着一条曲线衰减，这种曲线可以解释为交流记忆和文化记忆的结合。...模型综述 研究人员使用两种类型的数据：科学论文和专利的时间序列数据、歌曲，电影和传记的横截面数据。 ?...数据总结 在模型中把假设进行了简化，尽可能少的参数，从而得到一个操作性强的模型，该模型可以量化集体注意力主要变量，在这些假设下，交流记忆衰减的数学公式是u(t+1)=(1−p)u(t)−ru(t)，文化记忆衰减为
2、时间序列平稳性 2.1 平稳性 平稳性就是要求经由样本时间序列所得到的拟合曲线在未来一段时间内仍能顺着现有的形态惯性地延续下去。平稳性要求序列的均值和方差不发生明显变化。...时间序列差分值的求解可以直接通过pandas中的diff函数得到： ChinaBank['Close_diff_1'] = ChinaBank['Close'].diff(1) ChinaBank['Close_diff...可以看到，基本上时间序列在一阶差分的时候就已经接近于平稳序列了。 3、ARIMA模型介绍 3.1 自回归模型AR 自回归模型描述当前值与历史值之间的关系，用变量自身的历史时间数据对自身进行预测。...拖尾和截尾 拖尾指序列以指数率单调递减或震荡衰减，而截尾指序列从某个时点变得非常小： ?...出现以下情况，通常视为(偏)自相关系数拖尾： 1）如果有超过5%的样本(偏)自相关系数都落入2倍标准差范围之外 2）或者是由显著非0的(偏)自相关系数衰减为小值波动的过程比较缓慢或非常连续。 ?
移动窗口函数 统计和通过其他移动窗口或者指数衰减而运行的函数，称之为移动窗口函数 import pandas as pd import numpy as np import matplotlib.pyplot...0.074760 2003-01-17 0.112368 Freq: B, Name: AAPL, dtype: float64 # 滚动窗口函数需要窗口中所有的值必须是非NaN值 # 如果存在缺失值，时间序列的起始位置的数据必须是少于窗口区间的...常用指定衰减因子的方法：使用span（跨度） ewm算子 # 将苹果公司的股票价格的60日均线和span=60的EW移动均线进行比较 appl_px = close_px.AAPL["2006":"2007...二元移动窗口函数rolling+corr 一些统计算子，例如相关度和协方差等需要同时操作两个时间序列。...例如，金融分析中的股票和基准指数的关联性问题：计算时间序列的百分比变化pct_change() close_px_all[:5] .dataframe tbody tr th:only-of-type
选择一个1<size<m的合适的大小进行Mini-Batch梯度下降，可以实现快速学习，也应用了向量化带来的好处，且成本函数的下降处于前两者之间。...代码使用到numpy工具库，想了解更多的同学可以查看ShowMeAI的 图解数据分析 系列中的numpy教程，也可以通过ShowMeAI制作的 numpy速查手册 快速了解其使用方法） 代码解读： np.random.permutation...如果我们把每个时间点的\theta和衰减指数写成向量形式，则最终指数加权平均结果V_t相当于两者的点乘。...因此实际在使用梯度下降法或者动量梯度下降法时，不会同时进行偏差修正。...在plateaus上梯度很小，前进缓慢，到达saddle point需要很长时间。
),可以获得上述表达式的简化 1.5 SAR的额外功能 SAR的优点: 高精度，易于训练和部署算法 快速训练，只需要简单的计数来构造用于预测时间的矩阵。...>，而且格式主要是pandas 2.2 训练/验证集分拆 train, test = python_stratified_split(data, ratio=0.75, col_user='userID...对于这种情况,我们可以使用提供的python_stratified_split函数伸出一个百分比(在本例中25%)从每个用户的物品,但确保所有用户都在训练和测试数据集。...time_decay_coefficient，时间衰减参数 time_now，当下时间，确认时间衰减 threshold，共现C矩阵，低频进行移除 normalize，亲和力矩阵A是否标准化 2.4...对于这一问题，我们也可以通过其他算法 (1) 或使用 hyper-parameters (2) 进行优化。
如果我们继续加深图神经网络，那么其表现反而会快速下降。这和深度学习中的内核“深度”二字相违背。...我们最终通过数值模拟可以验证上述的定理： 其中，第二排第一个图表明了GNTK的指数衰减速率，第二排第二个图表明了残差连接相对会减缓衰减速度，但是其依然是指数衰减。...推荐文章 2 万字详解，彻底讲透 Elasticsearch 一款 IDEA 插件帮你优雅转化 DTO、VO、BO、PO、DO 「开源」数据同步ETL工具，支持多数据源间的增、删、改数据同步 如何使用...SSHGUARD 阻止 SSH 暴力攻击 实时时间序列异常检测 [开源]一套BS架构，支持PC、H5端的开源知识管理系统、知识库系统 后端开发常见层式结构设计：跳表、时间轮、LSM-Tree...16 个有用的带宽监控工具来分析 Linux 中的网络使用情况 Redis 中的过期删除策略和内存淘汰机制 一个可以测试并发数和运行次数的压力测试代码 linux远程桌面管理工具xrdp
暂时变更异常temporary change (TC)：造成这种离群点的干扰是在T时刻干扰发生时具有一定初始效应，以后随时间根据衰减因子的大小呈指数衰减。...使用后面的方法，你将能够得到一个可视化的置信区间，这有助于理解为什么会出现异常并进行验证。 常见异常检测方法 从分类看，当前发展阶段的时序异常检测算法和模型可以分为一下几类： ?...因为没有训练过程，即使没有前期的数据积累，也可以快速的投入生产使用。缺点是准确率一般。但是这个其实是看场景的，并且也有简单的方法来提高业务层面的准确率。这个后面会提到。...由上到下依次为：原始时间序列和使用 STL 分解得到的季节变化部分、趋势变化部分以及残差部分。...Python的statsmodels实现了一个简单版的时序分解，通过加权滑动平均提取趋势分量，然后对cycle-subseries每个时间点数据求平均组成周期分量： 使用示例： import numpy
而优化算法能够帮助我们快速训练模型，提高计算效率。...其在更新参数时使用所有的样本来进行更新。...因此，选择一个合适的大小进行 Mini-batch 梯度下降，可以实现快速学习，也应用了向量化带来的好处，且成本函数的下降处于前两者之间。...如果随着时间慢慢减少学习率 α 的大小，在初期 α 较大时，下降的步长较大，能以较快的速度进行梯度下降；而后期逐步减小 α 的值，即减小步长，有助于算法的收敛，更容易接近最优解。...还有一种指数衰减 \alpha = 0.95^{epoch\_num} * \alpha_0α=0.95epoch_num∗α0 对于大型的数据模型，需要使用这些方式去自动进行学习率衰减。
暂时变更异常temporary change (TC)：造成这种离群点的干扰是在T时刻干扰发生时具有一定初始效应，以后随时间根据衰减因子的大小呈指数衰减。...使用后面的方法，你将能够得到一个可视化的置信区间，这有助于理解为什么会出现异常并进行验证。...因为没有训练过程，即使没有前期的数据积累，也可以快速的投入生产使用。缺点是准确率一般。但是这个其实是看场景的，并且也有简单的方法来提高业务层面的准确率。这个后面会提到。...Python的statsmodels实现了一个简单版的时序分解，通过加权滑动平均提取趋势分量，然后对cycle-subseries每个时间点数据求平均组成周期分量： 使用示例： import numpy...每个data point的权重不同，离当前时间点越近的点的权重越大，历史时间点的权重随着离当前时间点的距离呈指数衰减，从当前data point往前的data point，权重依次为 该算法可以检测一个异常较短时间后发生另外一个异常的情况
升温时，固体内部粒子随温度升高变为无序状，内能增大，而缓慢冷却时粒子又逐渐趋于有序，从理论上讲，如果冷却过程足够缓慢，那么冷却中任一温度时固体都能达到热平衡，而冷却到低温时将达到这一低温下的内能最小状态...收敛的一般性条件 收敛到全局最优的一般性条件是： ①初始温度足够高： ②热平衡时间足够长； ③终止温度足够低； ④降温过程足够缓慢。但上述条件在应用中很难同时满足。...这样就可选取较短长度的Markov链来减少算法时间。...如果在高温时，已经进行了充分的广域搜索，找到了可能存在最好解的区域，而在低温再进行足够的局部搜索，则可能最终找到全局最优了。...Python实现 函数： f(x)=(x^{2}-5x)sin(x^{2}) import numpy as np import matplotlib.pyplot as plt import random
当我们考虑时间序列的增强树时，通常会想到 M5 比赛，其中前十名中有很大一部分使用了 LightGBM。但是当在单变量情况下使用增强树时，由于没有大量的外生特征可以利用，它的性能非常的糟糕。...首先需要明确的是M4 比赛的亚军 DID 使用了增强树。但是它作为一个元模型来集成其他更传统的时间序列方法。...从上图中就引出了我们的目标：创建一个基于LightGBM并且适合个人使用的时间序列的快速建模程序，并且能够绝对超越这些数字，而且在速度方面可与传统的统计方法相媲美。...对比一下我们的结果和上面提到的目标： 进行了零参数优化（针对不同的季节性稍作修改） 分别拟合每个时间序列 在我的本地机器上在一分钟内“懒惰地”生成了预测。...根据测试LazyProphet 在高频率和大量数据量上表现的更好，但是LazyProphet还是一个时间序列建模的很好选择，我们不需要花多长时间进行编码就能够测试，这点时间还是很值得。
python进阶教程 机器学习 深度学习 长按二维码关注 一、从系统的角度看待卷积过程 1、物理层面的系统 所谓的系统从物理层面上说指的是一个可以对输入信号做出响应，然后输出相关信号的一套“物理设备”。...这包含两方面的含义：一方面是系统静止时（零状态），无论外部输入的激励信号是什么，系统的输出都只会以一定的规律“缓慢地”对输入做出响应；另一方面的意思是，当外部输入信号停止时，系统也只会按照自己内在的规律逐渐衰减到零...两个脉冲（间隔2秒） 从图中可以看出，又一个完全一样的衰减过程叠加到了第一个衰减过程的半道上，由于有第一个作为垫底的，所以整体的幅值略微高了一点，然后再慢慢地衰减下去，整个的衰减过程也略微地延长了一点时间...大致方法是将激励信号进行反转（这是最不能让人理解的部分，将一个以时间为自变量的信号反转，难道是要让时光倒流？）...2、离散卷积 我们在设计程序时，更多的是使用离散卷积。 卷积是两个变量在某范围内相乘后求和的结果。如果卷积的变量是序列x(n)和h(n)，则卷积的结果 ? 其中星号*表示卷积。
常用的时间序列模型有AR模型、MA模型、ARMA模型和ARIMA模型等。 一、时间序列的预处理 拿到一个观察值序列之后，首先要对它的平稳性和纯随机性进行检验，这两个重要的检验称为序列的预处理。...什么是拖尾，拖尾就是有一个缓慢衰减的趋势，但是不都为 0 。 自相关图既不是拖尾也不是截尾。以上的图的自相关是一个三角对称的形式，这种趋势是单调趋势的典型图形，说明这个序列不是平稳序列。...一阶差分指原序列值相距一期的两个序列值之间的减法运算；k阶差分就是相距k期的两个序列值之间相减。如果一个时间序列经过差分运算后具有平稳性，则该序列为差分平稳序列，可以使用ARIMA模型进行分析。...二、平稳时间序列建模 某个时间序列经过预处理，被判定为平稳非白噪声序列，就可以进行时间序列建模。...三、python实例操作 以下为某店铺2015/1/1~2015/2/6的销售数据,以此建模预测2015/2/7~2015/2/11的销售数据。 ?
它关注基本概念和基于R语言，我将重点使用这些概念来解决Python编程里面端到端的问题。R语言存在许多关于时间序列的资源，但是很少关于Python的，所以本文将使用Python。...因为时间序列的固有特性，有各种不同的步骤可以对它进行分析。下文将详细分析。通过在Python上传时间序列对象开始。我们将使用飞机乘客数据集。 请记住本文的目的是希望使你熟悉关于时间序列的不同使用方法。...2、在pandas上传和加载时间序列 Pandas有专门处理时间序列对象的库，特别是可以存储时间信息和允许人们执行快速合作的datatime64(ns)类。从激发所需的库开始。...1、index_col:使用pandas 的时间序列数据背后的关键思想是：目录成为描述时间数据信息的变量。所以该参数告诉pandas使用“月份”的列作为索引。...你可以在头脑使用之前的输出结果进行回算，检查这些是否正确的。接下来我们将它们添加到基本值。为此我们将使用所有的值创建一个序列作为基本值，并添加差值。
一句话： 时间序列预测：有每天、每月的销售数量，预测下个月的销量。...： 一、ARIMA趋势分析 1、Python 3数据分析与机器学习实战 2、 3、无法登录，加QQ等待中 4、Python大数据与机器学习实战 5、微信二维码扫描输入书号下载代码 6、时间，加入农历的影响...13、ARMA自回归滑动平均模型（AR自回归模型+MA滑动平均模型+I差分） 14、自相关ACF 15、偏相关PACF 16、 17、 18、拖尾指序列以指数率单调递减或震荡衰减,而截尾指序列从某个时点变得...自相关明显拖尾图，周期12天，偏相关也并非明显截尾，使用ARIMA模型。...38、 39、按月预测比按天预测衰减少。 二、傅里叶和小波变换 1、把时域数据转到频域，再转换回来。 2、转换工具fft快速傅里叶变换和ifft逆向傅里叶变换。 3、看代码，拟合的还行？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
