专栏首页量化投资与机器学习深度学习理论系列之——基本理论方法与训练过程

深度学习理论系列之——基本理论方法与训练过程

深度学习的基本理论与方法

深度学习:一种基于无监督特征学习和特征层次结构的学习方法

可能的的名称:

1.深度学习

2.特征学习

3.无监督特征学习

2006年,加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton在《科学》上发表论文提出深度学习主要观点:

1、多隐层的人工神经网络具有优异的特征学习能力,学习得到的特征对数据有更本质的刻画,从而有利于可视化或分类;

2、深度神经网络在训练上的难度,可以通过“逐层初始化”(layer-wise pre-training)来有效克服,逐层初始化可通过无监督学习实现的。

本质:通过构建多隐层的模型和海量训练数据(可为无标签数据),来学习更有用的特征,从而最终提升分类或预测的准确性。 “深度模型”是手段,“特征学习”是目的。

与浅层学习区别:

1、强调了模型结构的深度,通常有5-10多层的隐层节点;

2、明确突出了特征学习的重要性,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,从而使分类或预测更加容易。与人工规则构造特征的方法相比,利用大数据来学习特征,更能够刻画数据的丰富内在信息。

好处:可通过学习一种深层非线性网络结构,实现复杂函数逼近,表征输入数据分布式表示。

深度学习训练过程

第一步:采用自下而上的无监督学习

1、逐层构建单层神经元。

2、每层采用wake-sleep算法进行调优。每次仅调整一层,逐层调整。这个过程可以看作是一个feature learning的过程,是和传统神经网络区别最大的部分。

wake-sleep算法:

1、wake阶段:

认知过程,通过下层的输入特征(Input)和向上的认知(Encoder)权重产生每一层的抽象表示(Code),再通过当前的生成(Decoder)权重产生一个重建信息(Reconstruction),计算输入特征和重建信息残差,使用梯度下降修改层间的下行生成(Decoder)权重。也就是“如果现实跟我想象的不一样,改变我的生成权重使得我想象的东西变得与现实一样”。

2、sleep阶段:

生成过程,通过上层概念(Code)和向下的生成(Decoder)权重,生成下层的状态,再利用认知(Encoder)权重产生一个抽象景象。利用初始上层概念和新建抽象景象的残差,利用梯度下降修改层间向上的认知(Encoder)权重。也就是“如果梦中的景象不是我脑中的相应概念,改变我的认知权重使得这种景象在我看来就是这个概念”。

第二步:自顶向下的监督学习

这一步是在第一步学习获得各层参数进的基础上,在最顶的编码层添加一个分类器(例如罗杰斯特回归、SVM等),而后通过带标签数据的监督学习,利用梯度下降法去微调整个网络参数。

深度学习的第一步实质上是一个网络参数初始化过程。区别于传统神经网络初值随机初始化,深度学习模型是通过无监督学习输入数据的结构得到的,因而这个初值更接近全局最优,从而能够取得更好的效果。

量化投资与机器学习

知识、能力、深度、专业

勤奋、天赋、耐得住寂寞

本文分享自微信公众号 - 量化投资与机器学习(ZXL_LHTZ_JQXX),作者:西西

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2015-11-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 配对交易千千万,强化学习最NB!(附文档+代码讲解)

    本推文会介绍如何在利用股票分钟数据,基于强化学习来做配对交易。包括基本概念和具体实现;这里采用的强化学习方法,是类似多臂老虎机(N-armed bandit)问...

    量化投资与机器学习微信公众号
  • 机器学习 VS 传统编程

    机器学习只是一个描述数学+算法的新词吗?有时这样的简化看起来很有趣,但显然机器学习更复杂。

    量化投资与机器学习微信公众号
  • 【最新研究】基于风险中性的深度学习选股策略

    量化投资与机器学习微信公众号
  • “端到端”思想

    深度学习基础理论-CNN篇 “端到端”思想 ? 深度学习的一个重要思想即“端到端”的学习方式(end-to-end manner),属表示学习(repres...

    用户1386409
  • 为什么要用深度学习来做个性化推荐 CTR 预估

    深度学习应该这一两年计算机圈子里最热的一个词了。基于深度学习,工程师们在图像,语音,NLP等领域都取得了令人振奋的进展。而深度学习本身也在不断的探索和发展中,其...

    苏博览
  • 【新梦想】高级视频课的学习心得

    不知不觉离开新梦想已经两年了,从毕业到上海,再从上海到深圳。经历了许多,于是就写下了这篇叙事性的经历总结和一些学习上的心得。

    新梦想IT职业教育
  • 深度学习的昨天,今天和明天

    大数据文摘
  • 《学习的方法论》

    前言 读书十数年,关于学习的思考、理解日益繁多,今天稍作整理。 新年伊始,以“学习”为主题,写一篇感想。 何为学习,为何学习? 摸索无序到有序的规律,是...

    落影
  • 001 | 如何高效学习

    就像建一栋大厦一样,需要先打地基,地基打得好,大厦才够稳。在进阶全栈的路上,同样也需要先打好地基,所以我会将基础软技能板块排在专栏提纲的最前面。先帮你们打好基础...

    Keegan小钢
  • 算法、应用与计算平台,讯飞百度阿里360的深度学习经

    用户1737318

扫码关注云+社区

领取腾讯云代金券