专栏首页PaddlePaddle“端到端”思想

“端到端”思想

深度学习基础理论-CNN篇

“端到端”思想

深度学习的一个重要思想即“端到端”的学习方式(end-to-end manner),属表示学习(representation learning)的一种。这是深度学习区别于其他机器学习算法的最重要的一个方面。其他机器学习算法,如特征选择算法(feature selection)、分类器(classifier)算法、集成学习(ensemblelearning)算法等,均假设样本特征表示是给定的,并在此基础上设计具体的机器学习算法。在深度学习时代之前,样本表示基本都使用人工特征(hand-crafted feature),但“巧妇难为无米之炊”,实际上人工特征的优劣往往很大程度决定了最终的任务精度。这样便催生了一种特殊的机器学习分支——特征工程(feature engineering)。特征工程在数据挖掘的工业界应用以及计算机视觉应用中都是深度学习时代之前非常重要和关键的环节。

特别是计算机视觉领域,在深度学习之前,针对图像、视频等对象的表示可谓“百花齐放、百家争鸣”。仅拿图像表示(image representation)举例,从表示范围可将其分为全局特征描述子(global desciptor)和局部特征(local descriptor),而单说局部特征描述子就有数十种之多,如SIFT、PCA-SIFT、SURF、HOG、steerablefilters……同时,不同局部描述子擅长的任务又不尽相同一些适用于边缘检测、一些适用于纹理识别,这便使得实际应用中挑选合适的特征描述子成为一件令人头疼的麻烦事。对此,甚至有研究者于2004年在相关领域国际顶级期刊TPAMI(IEEE Transactions on Pattren Recognition and Machine Intelligence)上发表实验性综述“A Performance Evaluation of Local Descripors”来系统性的理解不同局部特征描述子的作用,至今已获得近8000次引用。而在深度学习普及之后,人工特征已逐渐被表示学习根据任务自动需求“学到”的特征表示所取代。

更重要的是,过去解决一个人工智能问题(以图像识别为例)往往通过分治法将其分解为预处理、特征提取与选择、分类器设计等若干步骤。分治法的动机是将图像识别的母问题分解为简单、可控且清晰的若干小的子问题。不过分步解决子问题时,尽管可在子问题上得到最优解,但子问题上的最优并不意味着就能得到全局问题的最后解。对此,深度学习则为我们提供了另一种范式(paradigm)即“端到端”学习方式,整个学习流程并不进行人为的子问题划分,而是完全交给深度学习模型直接学习从原始输入到期望输出的映射。相比分治策略,“端到端”的学习方式具有协同增效的优势,有更大可能获得全局最优解。

图 卷积神经网络基本流程图

如上图所示,对深度模型而言,其输入数据是未经任何人为加工的原始样本形式,后续则是堆叠在输入层上的众多操作层。这些操作层整体可看作一个复杂的函数f(cnn),最终损失函数由数据损失(date loss)和模型参数的正则化损失(regularizationloss)共同组成,深度模型的训练则在最终损失驱动下对模型进行参数更新并将误差反向传播至网络各层。模型的训练过程可以简单抽象为从原始数据向最终目标的直接“拟合”,而中间的这些部件正起到了将原始数据映射为特征(即特征学习)随后再映射为样本标记(即目标任务,如分类)的作用。

访问Github Issue:https://github.com/PaddlePaddle/Paddle/issues

end

本文分享自微信公众号 - PaddlePaddle(PaddleOpenSource)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-04-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 实操|如何进阶深度学习工程师(下篇)

    这里所定义的中阶选手,是深度学习理论基础扎实,实操方面尝试扩展深度学习更多应用场景的侠客。由此,从初阶→中阶,基本流程保持不变,变化的是每个步骤的深入程度。

    用户1386409
  • GITCHAT系列1:深度学习第一课

    近几年深度学习的概念非常火,我们很幸运赶上并见证了这一波大潮的兴起。记得2012年之前提及深度学习,大部分人并不熟悉,而之后一段时间里,也有些人仍旧持怀疑的态度...

    用户1386409
  • 权威标准发布|测测你是哪个阶段的深度学习工程师?

    当前,深度学习行业伴随人工智能技术得到迅猛发展,深度学习工程师优质人才供不应求,若缺乏合适的人才评估标准,难以促进优质人才的培养及就业。

    用户1386409
  • 为什么要用深度学习来做个性化推荐 CTR 预估

    深度学习应该这一两年计算机圈子里最热的一个词了。基于深度学习,工程师们在图像,语音,NLP等领域都取得了令人振奋的进展。而深度学习本身也在不断的探索和发展中,其...

    苏博览
  • 深度学习理论系列之——基本理论方法与训练过程

    深度学习的基本理论与方法 深度学习:一种基于无监督特征学习和特征层次结构的学习方法 可能的的名称: 1.深度学习 2.特征学习 3.无监督特征学习 2006年...

    量化投资与机器学习微信公众号
  • 一页纸说清楚“深度学习”

    大数据文摘
  • 深度学习的昨天,今天和明天

    大数据文摘
  • 001 | 如何高效学习

    就像建一栋大厦一样,需要先打地基,地基打得好,大厦才够稳。在进阶全栈的路上,同样也需要先打好地基,所以我会将基础软技能板块排在专栏提纲的最前面。先帮你们打好基础...

    Keegan小钢
  • 【新梦想】高级视频课的学习心得

    不知不觉离开新梦想已经两年了,从毕业到上海,再从上海到深圳。经历了许多,于是就写下了这篇叙事性的经历总结和一些学习上的心得。

    新梦想IT职业教育
  • 算法、应用与计算平台,讯飞百度阿里360的深度学习经

    用户1737318

扫码关注云+社区

领取腾讯云代金券