专栏首页算法微时光深度学习之初识深度学习[上]

深度学习之初识深度学习[上]

什么是深度学习(Deep Learning)

人工智能、机器学习与深度学习

人工智能诞生于 20 世纪 50 年代,当时计算机科学这一新兴领域的少数先驱开始提出疑问:计算机是否能够“思考”? 我们今天仍在探索这一问题的答案。 人工智能的简洁定义如下:努力将通常由人类完成的智力任务自动化。 因此,人工智能是一个综合性的领域,不仅包括机器学习与深度学习,还包括更多不涉及学习的方法。

在经典的程序设计(即符号主义人工智能的范 式)中,人们输入的是规则(即程序)和需要根据这些规则进行处理的数据,系统输出的是答案。 利用机器学习,人们输入的是数据和从这些数据中预期得到的答案,系统输出的是规则。 这些规则随后可应用于新的数据,并使计算机自主生成答案。

总而言之,机器学习是让机器可以得到新的规则.不仅仅是依靠程序员的设定获取固定的答案.

深度学习是机器学习的一个分支领域:它是从数据中学习表示的一种新方法,强调从连续的层(layer)中进行学习,这些层对应于越来越有意义的表示。 “深度学习”中的“深度”指的并不是利用这种方法所获取的更深层次的理解,而是指一系列连续的表示层。 数据模型中包含多少层,这被称为模型的深度(depth)。

其他机器学习方法的重点往往是仅仅学习一两层的数据表示,因此有时也被称为浅层学习(shallow learning)。

在深度学习中,这些分层表示几乎总是通过叫作神经网络(neural network)的模型来学习得到的。

什么是神经网络

神经网络,它是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。

这种网络依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。

注意:神经网络是从数据中学习表示的一种数学框架。并非大脑模型

神经网络技术起源于上世纪五、六十年代,当时叫感知机(perceptron),拥有输入层、输出层和一个隐含层。

输入的特征向量通过隐含层变换达到输出层,在输出层得到分类结果。

早期感知机的推动者是Rosenblatt。

但是,Rosenblatt的单层感知机有一个严重得不能再严重的问题,即它对稍复杂一些的函数都无能为力, 比如最为典型的“异或”操作。

随着数学的发展,这个缺点直到上世纪八十年代才被Rumelhart、Williams、Hinton、LeCun等人发明的多层感知机(multilayer perceptron)克服。

多层感知机

也就形成了神经网络.O(∩_∩)O

深度学习工作原理

第一步

神经网络中每层对输入数据所做的具体操作保存在该层的权重(weight)中,其本质是一串数字。 用术语来说,每层实现的变换由其权重来参数化。权重有时也被称为该层的参数(parameter)。 在这种语境下,学习的意思是为神经网络的所有层找到一组权重值,使得该网络能够将每个示例输入与其目标正确地一一对应。

可参考文章<<深度学习之(神经网络)单层感知器(python)(一)>>理解.

然而一个深度神经网络可能包含数千万个参数。

找到所有参数的正确取值可能是一项非常艰巨的任务,特别是考虑到修改某个参数值将会影响其他所有参数的行为。

第二步

想要控制神经网络的输出,就需要能够衡量该输出与预期值之间的距离。 这是神经网络损失函数(loss function)的任务,该函数也叫目标函数(objective function)。 损失函数的输入是网络预测值与真实目标值(即你希望网络输出的结果),然后计算一个距离值,衡量该网络在这个示例上的效果好坏。

第三步

最后利用这个距离值作为反馈信号来对权重值进行微调,以降低当前示例对应的损失值。 这种调节由优化器(optimizer)来完成,它实现了所谓的反向传播(backpropagation)算法,这是深度学习的核心算法。

参考

<<Python深度学习 >> 神经网络 深度学习入门:一句话告诉你什么是神经网络(CNN,RNN,DNN)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 深度学习之初识深度学习[下]

    深度学习从数据中进行学习时有两个基本特征: 第一,通过渐进的、逐层的方式形成越来越复杂的表示; 第二,对中间这些渐进的表示共同进行学习,每一层的变化都需要同...

    李小白是一只喵
  • 百度Apollo自动驾驶源码下载

    阿波罗是百度发布的名为“[Apollo(阿波罗)”的向汽车行业及自动驾驶领域的合作伙伴提供的软件平台。官网

    李小白是一只喵
  • djb2 hash算法

    Hash,一般翻译做“散列”,也有直接音译为“哈希”的,就是把任意长度的输入(又叫做预映射, pre-image),通过散列算法,变换成固定长度的输出,该输出就...

    李小白是一只喵
  • 深入浅出谈谈深度学习~

    深度学习第①篇(文末附大量资料) ? 一、深度学习的起源与概念 深度学习的概念由Hinton等人于2006年提出。深度学习可以简单理解为传统神经网络的拓展。如下...

    小小詹同学
  • 业界 | 深度学习真的万能吗?理解深度学习的局限性

    选自venturebeat 作者:MARIYA YAO, TOPBOTS 机器之心编译 参与:蒋思源、李亚洲、韩小西 深度学习较其他机器学习方法在各类任务中都表...

    机器之心
  • 世界顶级大神综述深度学习 | Nature | 重温经典必读 | 论文精萃 |13th

    图丨Yann LeCun、Geoffrey Hinton、Yoshua Bengio和吴恩达

    用户7623498
  • 大会直击|微软亚洲研究院刘铁岩:深度学习成功的秘密

    9月9日,2016湖南人工智能湖南论坛在长沙举办,大会期间,来自国内外的许多顶级专家在会上给我们做了报告,下面是雷锋网根据微软亚洲研究院刘铁岩教授的现场精华整理...

    AI科技评论
  • 什么是深度学习?

    深度学习是机器学习的一个子领域,涉及被称为人工神经网络的大脑的结构和功能所启发的算法。

    anthlu
  • 基础 | 深度学习与神经网络-介绍

    深度学习改变了搜索、广告等传统互联网业务,使更多产品以不同方式来帮助人们。AI的兴起犹如百年前电气的普及影响着各个行业。在AI的各个分支中,深度学习发展最快。

    zenRRan
  • 全球人工智能技术大会(GAITC):深度学习从监督走向互动

    4月22日,2016全球人工智能技术大会(GAITC) 暨人工智能60年纪念活动启动仪式在北京国家会议中心举行,在人工智能技术大会上,地平线机器人联合创始人兼软...

    昱良

扫码关注云+社区

领取腾讯云代金券