序列预测问题的简单介绍

序列预测与其他类型的监督学习问题不同。这个序列在观察结果上被强加了一个命令:当训练模型和做预测时序列必须保存。通常,包含序列数据的预测问题被称为序列预测问题,尽管他们是一些基于不同输入和输出序列的问题。

在本教程中,你将学到不同类型的序列预测问题。

完成本教程后,你将知道:

  • 序列预测问题的四种类型。
  • 专家对每种类型的序列预测问题的定义。
  • 每种类型的序列预测问题的实际例子。

让我们开始吧。

教程概述

本教程分为5部分; 他们是:

  • 序列
  • 序列预测
  • 序列分类
  • 序列生成
  • 序列到序列的预测

序列

我们经常在应用机器学习中处理集合,如训练或测试样本集合。

集合中的每个样本都可以被认为是一个从域中的观察。

在一个集合中,观察的顺序并不重要。

有一个序列不太一样。这个序列对观察结果施加明确的顺序。

顺序是很重要的。在使用序列数据作为模型的输入或输出的预测问题的制定中必须遵守。

序列预测

序列预测涉及预测给定输入序列的下一个值。

例如:

  • 给定:1,2,3,4,5
  • 预测:6

序列预测试图在前面元素的基础上预测一个序列的元素。

—序列学习: 从识别和预测到顺序决策, 2001.

预测模型通过一系列训练序列来训练,一旦经过训练,这个模型就被用来执行序列预测。预测包括预测序列的下一个项。这个任务有很多的应用,如网页抓取、消费者产品推荐、天气预报和股票市场预测。

—CPT +:减少紧凑预测树的时间/空间复杂度,2015.

序列预测通常也被称为“序列学习”。

学习顺序数据仍然是一项基本任务,这也是模式识别和机器学习的挑战。涉及顺序数据的应用程序可能需要预测新的时间,生成新的序列,或者进行序列或子序列分类等决策。

—使用可变阶马尔可夫模型预测,2004.

严格的说,我们可以将这篇文章中的所有问题称为序列预测问题。这可能会让初学者感到困惑。

序列预测问题的一些例子包括:

  • 天气预报:根据一段时间的天气观测数据,预测明天的天气。
  • 股市预测:给定证券的随时间推移的序列,预测证券接下来的走向。
  • 产品推荐:给出过去客户消费的序列,预测下一次客户会购买什么。

序列分类

序列分类包括预测给定输入序列的类标签。

例如:

  • 给定:1,2,3,4,5
  • 预测:“好”或“坏”

序列分类的目的是使用标有标签的记数据集D构建分类模型,以便该模型可用于预测未知序列的类别标签。

– 第14章,数据分类:算法和应用,2015.

输入序列可以由实数值或离散值组成。如果包含离散值,则这样的问题可以被称为离散序列分类。

序列分类问题的一些例子包括:

  • DNA序列分类:给定ACGT值的DNA序列,预测序列代码为编码或是非编码区域。
  • 异常检测:给定序列的观察结果,预测序列是否异常。
  • 情感分析:给出序列的文本,如评论或推特,可以预测文本的包涵的情绪是积极的还是消极的。

序列生成

序列生成包含生成一个与语料库中其他序列具有相同一般特性的新输出序列。

例如:

  • 给定:[1,3,5],[7,9,11]
  • 预测:[3,5,7]

通过处理真实的数据序列递归神经网络可以为序列生成接受训练,并预测接下来会发生什么。假设预测是概率性的,可以从训练网络通过从网络的输出分布迭代地采样来生成新的序列,然后在下一步中传入样本中的输入。换句话说,让网络将它的发明看成是真实的,很像让人做梦。

– 用递归神经网络生成序列,2013.

序列生成问题的一些例子包括:

  • 文本生成:给出一个文本语料库,比如莎士比亚的作品,生成新的读起来像莎士比亚的句子。
  • 手写预测:给出一个手写实例的语料库,为在语料库中具有手写属性的新短语生成手写。
  • 音乐生成:给出音乐实例的语料库,产生具有语料库属性的新音乐片段。

序列生成还可以涉及给出一个单独的观察作为输入的序列的生成。

这个例子是图像的自动文本描述。

  • 图像字幕生成:给定图像作为输入,生成描述图像的单词序列。

使用恰当的英语句子来自动描述图像的内容是一个非常具有挑战性的任务,但它可能会产生巨大的影响,比如通过帮助视障人士更好地理解网上图像的内容。事实上,描述不仅要捕捉图像中包含的对象,而且还必须表达这些对象之间的关系,以及它们的属性和参与的活动。而且,上述语义知识必须用自然语言如英语来表达,这意味着除了视觉理解之外,还需要一种语言模型。

—显示和讲述:神经图像字幕发生器,2015.

从序列到序列的预测

从序列到序列的预测涉及在给定输入序列的情况下预测输出序列。

例如:

  • 给定:1,2,3,4,5
  • 预测:6,7,8,9,10

尽管深度神经网络适应性强和能力都很强,也只能被应用于输入和目标容易编码并且拥有固定维度向量的问题。这是一个很大的限制,因为许多重要的问题最好用长度不是预先知道的序列来表达。例如,语音识别和机器翻译是顺序性的问题。同样地,问题回答也可以被看作是把一个单词的序列映射成一个表示答案的单词序列。

—序列学习与神经网络,2014.

这是对序列预测的精细而富有挑战性的扩展,而不是预测序列中的下一个值,新序列被预测时可能有同样的长度或者是同一时间也可能没有。

这种类型的问题最近在自动文本翻译领域(例如将英语翻译成法语)方面已经有很多研究,可以通过缩写seq2seq来表示。

seq2seq学习的核心是使用递归神经网络将可变长度输入序列映射到可变长度输出序列。seq2seq方法不仅获得了最新的结果,不再仅仅是其最初的应用程序—机器翻译。

—多任务序列到序列学习,2016年。

如果输入和输出序列是时间序列,则问题可以称为多步时间序列预测。

  • 多步时间序列预测:给定时间序列的观察结果,预测未来一段时间内时间步长的观测序列。
  • 文本摘要:给定文本文档,预测描述源文档的重点部分的短文本序列。
  • 程序执行:给定文本描述程序或精确的方程,预测描述正确输出的字符序列。

总结

在本教程中,你学习了不同类型的序列预测问题。

具体来说,你学到了:

  • 4种类型的序列预测问题。
  • 专家对每种类型的序列预测问题的定义。
  • 每种类型的序列预测问题的实际例子。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-09-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏计算机视觉战队

每日一学——最优化(下)

梯度计算 计算梯度有两种方法:一个是缓慢的近似方法(数值梯度法),但实现相对简单。另一个方法(分析梯度法)计算迅速,结果精确,但是实现时容易出错,且需要使用微分...

38610
来自专栏深度学习

神经网络相关名词解释

很多人认为深度学习很枯燥,大部分情况是因为对深度学习的学术词语,特别是专有名词很困惑,即便对相关从业者,亦很难深入浅出地解释这些词语的含义。  相信读过此文的圈...

44411
来自专栏深度学习自然语言处理

【精华】Batch Normalization理论与实践

batch norm也可以当做调参的一部分,对于有些实验是有效果的,有些实验是几乎没啥效果,但是它的收敛速度还是很客观的,所以我们还是有必要要了解下哒!

1002
来自专栏智能算法

GBDT(梯度提升决策树)算法(详细版)

一、前言 通过之前的文章GBDT算法(简明版)对GBDT的过程做了大概的讲解,我们可以了解到GBDT是一种迭代的决策树算法,由多棵决策树组成,所有树的结论累加起...

87411
来自专栏人工智能

机器学习算法:选择您问题的答案

当我开始涉足数据科学时,我经常面临为如何我的问题选择最合适的算法的问题。如果你像我一样,当你看到一些关于机器学习算法的文章时,你会看到许多详细的描述。但是,即使...

4077
来自专栏PPV课数据科学社区

机器学习系列:(九)从感知器到支持向量机

从感知器到支持向量机 上一章我们介绍了感知器。作为一种二元分类器,感知器不能有效的解决线性不可分问题。其实在第二章,线性回归里面已经遇到过类似的问题,当时需要解...

4359
来自专栏灯塔大数据

原创译文|从神经网络说起:深度学习初学者不可不知的25个术语和概念(下)

人工智能,深度学习和机器学习,不论你现在是否能够理解这些概念,你都应该学习。否则三年内,你就会像灭绝的恐龙一样被社会淘汰。 ——马克·库班(NBA小牛队老板,...

4557
来自专栏专知

【干货】计算机视觉实战系列04——用Python做图像处理

【导读】专知成员Hui上一次为大家介绍Numpy包的使用,介绍了Numpy库的一些基本函数和一些简单用法,以及图像灰度变换,这一次为大家详细讲解图像的缩放、图像...

5187
来自专栏新智元

【ResNet何凯明】深度残差网络从100层到1001层(89PPT)

【新智元导读】层数越多的神经网络越难以训练。当层数超过一定数量后,传统的深度网络就会因优化问题而出现欠拟合(underfitting)的情况。ResNet 作者...

6795
来自专栏IT技术精选文摘

机器学习之预测分析模型

介绍 预测分析是基于以前收集的数据来预测未来的结果。它包括两个阶段: 训练阶段:从训练数据中学习一个模型。 预测阶段:使用模型预测未知或未来的结果。 预测模...

3306

扫码关注云+社区

领取腾讯云代金券