使用Tensorflow进行时序预测(TFTS)

时序预测是一个经典的话题,应用面也很广; 结合LSTM来做也是一个效果比较好的方式. 这次准备使用TF来进行时序预测,计划写两篇: 1. 使用Tensorflow Time Series模块 2. 使用底层点的LSTM Cell

这就是第一篇啦,Time Series Prediction via TFTS. 来源于此: TFTS介绍,略有加工整理,侵删!

TFTS

Tensorflow Time Series(TFTS)模块是TF1.3版本中引入的,官方是这么介绍的:

TensorFlow Time Series (TFTS) is a collection of ready-to-use classic models (state space, autoregressive), and flexible infrastructure for building high-performance time series models with custom architectures.

地址: https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/timeseries, 里面给出了相关的examples.

主要提供三种预测模型: AR、Anomaly Mixture AR、LSTM

Examples

读入数据

你的数据可以是两种: 1. numpy array 2. from a CSV file

对于第一种: TFTS中可以使用NumpyReader

x = np.array(range(1000))
noise = np.random.uniform(-0.2, 0.2, 1000)
y = np.sin(np.pi * x / 100) + x / 200. + noise

data = {
    tf.contrib.timeseries.TrainEvalFeatures.TIMES: x,
    tf.contrib.timeseries.TrainEvalFeatures.VALUES: y,
}

reader = NumpyReader(data)

data是一个dict,’TIMES’和’VALUES’就是字符串的’times’和’values’,所以理论上你写成: data = {'times':x, 'values':y},也是可以的.

对于第二种: TFTS中提供了CSVReader

csv_file_name = './data/period_trend.csv'
reader = tf.contrib.timeseries.CSVReader(csv_file_name)

获得batch数据

对于以上两种Reader(CSVReader和NumpyReader),TFTS提供了对应的read_full()方法,返回的是时间序列的Tensor,read_full()产生读取队列,所以需要启动queue_runner然后才能run出值.

with tf.Session() as sess:
    data = reader.read_full()
    coord = tf.train.Coordinator()
    threads = tf.train.start_queue_runners(sess=sess, coord=coord)
    print(sess.run(data))
    coord.request_stop()

获取batch数据也很简单: TFTS提供RandomWindowInputFn

train_input_fn = tf.contrib.timeseries.RandomWindowInputFn(reader, batch_size=4, window_size=16)

tf.contrib.timeseries.RandomWindowInputFn会在reader的所有数据中,随机选取窗口长度为window_size的序列,并包装成batch_size大小的batch数据。换句话说,一个batch内共有batch_size个序列,每个序列的长度为window_size.

AR Model

AR(Auto Regression)是统计学上的方法,可以参考wiki: https://en.wikipedia.org/wiki/Autoregressive_model,主要的思想是假设当前值与前面出现的值是线性关系. autoregressive model specifies that the output variable depends linearly on its own previous values and on a stochastic term (an imperfectly predictable term).

对于AR模型:TFTS提供了ARRegrerssior

ar = tf.contrib.timeseries.ARRegressor(
        periodicities=200, input_window_size=30, output_window_size=10,
        num_features=1,
        loss=tf.contrib.timeseries.ARModel.NORMAL_LIKELIHOOD_LOSS)

在这里,我们总的window_size为40,input_window_size为30,output_window_size为10,也就是说,一个batch内每个序列的长度为40,其中前30个数被当作模型的输入值,后面10个数为这些输入对应的目标输出值。最后一个参数loss指定采取哪一种损失,一共有两种损失可以选择,分别是NORMAL_LIKELIHOOD_LOSS和SQUARED_LOSS. num_features参数表示在一个时间点上观察到的数的维度。我们这里每一步都是一个单独的值,所以num_features=1。 还有一个比较重要的参数是model_dir,它表示模型训练好后保存的地址,如果不指定的话,就会随机分配一个临时地址.

训练、验证(对训练集进行)、测试:

ar.train(input_fn=train_input_fn, steps=1000)

evaluation_input_fn = tf.contrib.timeseries.WholeDatasetInputFn(reader)
# keys of evaluation: ['covariance', 'loss', 'mean', 'observed', 'start_tuple', 'times', 'global_step']
evaluation = ar.evaluate(input_fn=evaluation_input_fn, steps=1)

(predictions,) = tuple(ar.predict(
        input_fn=tf.contrib.timeseries.predict_continuation_input_fn(
            evaluation, steps=250)))  #预测之后的250步

结果大概是这样:

红色是预测的那一段.

LSTM

必须使用TF最新的开发版的代码,就是要保证’rom tensorflow.contrib.timeseries.python.timeseries.estimators import TimeSeriesRegressor’可以导入成功.

estimator = ts_estimators.TimeSeriesRegressor(
      model=_LSTMModel(num_features=1, num_units=128),
      optimizer=tf.train.AdamOptimizer(0.001))

_LSTMModel是一个class,可以直接copy官方给的代码.

接下来的训练、验证、测试和上面的AR模型是一样的.

结果大概是这样的:

自己只把关键点写出来了,有需要的可以去看原文,原文比较详细. 代码地址: https://github.com/hzy46/TensorFlow-Time-Series-Examples

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

从框架优缺点说起,这是一份TensorFlow入门极简教程

2208
来自专栏北京马哥教育

Kmeans聚类代码实现及优化

云豆贴心提醒,本文阅读时间6分钟 这篇文章直接给出上次关于Kmeans聚类的篮球远动员数据分析案例,最后介绍Matplotlib包绘图的优化知识。 希望这篇文...

3075
来自专栏IT派

最新|官方发布:TensorFlow 数据集和估算器介绍

TensorFlow 1.3 引入了两个重要功能,您应当尝试一下: 数据集:一种创建输入管道(即,将数据读入您的程序)的全新方式。 估算器:一种创建 Tens...

4235
来自专栏和蔼的张星的图像处理专栏

11.YOLOV3训练检测拾遗。

训练配置以及检测我在上一篇文章里已经写过了,这里主要写一下可能会遇到的一些问题及解决方案。 这里面要做的许多事情别人都已经是做过了的,我做一下总结而已。

2423
来自专栏GIS讲堂

Python中用GDAL实现矢量对栅格的切割

2123
来自专栏何俊林

H.264技术及原理

H.264组成 1、网络提取层 (Network Abstraction Layer,NAL) 2、视讯编码层 (Video Coding Layer,VCL)...

2119
来自专栏章鱼的慢慢技术路

用OpenGL进行立方体表面纹理贴图

1743
来自专栏算法channel

机器学习储备(9):matplotlib绘图原理及实例

? matplotlib绘图的基本元素都包括都哪些?常用的绘图API如何应用。本文做个入门介绍吧。 1 基本元素 通过一个大部分都是用默认值的例子,初步认识下...

3338
来自专栏10km的专栏

faster rcnn demo.py:在一个窗口显示所有类别标注

faster rcnn 的demo.py运行时,对于同一个图像,每个类别显示一个窗口,看起来不太方便,顺便小改一下,让一幅图像中检测到的所有类别物体都在一个窗口...

3599
来自专栏Petrichor的专栏

TensorFlow API 树 (Python)

1782

扫码关注云+社区