专栏首页悦思悦读AI 入行那些事儿(6)深度学习之神经网络

AI 入行那些事儿(6)深度学习之神经网络

2021 开年巨献 —— 系列文章《AI 入行那些事儿》,为您讲述:

  • 人工智能的基础原理、发展历程、当前应用
  • 成为 AI 技术人员所需的入门技能和学习途径
  • 以及求职、面试的全过程

神经网络的起源

现在的深度学习就是利用深度神经网络来进行模型训练。深度神经网络是神经网络的延续,而神经网络在几十年前则是一种机器学习模型。

后来神经网络独立出来发展成深度神经网络,发挥了很大作用,并因此逐渐成为深度学习的独立分支。

神经网络模型和其它模型不太一样,大多数其它模型都源于数学。比如:线性回归模型,最早由高斯发现并提出,并用来进行人口统计。马尔萨斯在《人口论》里就曾经引用过这种模型,后来又对其进行了一些修正,逐步形成了现在的逻辑回归模型。

神经网络模型首先是由生物学界提出的,它的研究和发展也是以对生物神经网络的模仿为基础的。

神经网络的要素

神经网络由很多神经元组成,这些神经元互相连接,形成一个网络。下图就是一个神经网络的典型结构,也是一种很传统的结构。

神经网络的输入层一般不计入总层数,所以神经网络只有两层。在这两层中有六个神经元,中间的隐藏层里有四个,最后的输出层有两个,神经元之间有方向地全连接。

每一个神经元都会对数据进行两步运算,第一步是把上一层神经网络的所有输入做线性加权,第二步是对线性加权的结果做非线性转换,这一步用到的函数被称为神经元的激活函数。

下图里列出了几种激活函数,其中最传统的一种叫Logistic函数,又称sigmoid函数,其实就是逻辑回归的模型函数。

深度神经网络的发展

神经网络的网络结构包括层数、每层的神经元个数以及是否全连接等。神经元不同、网络结构不同,神经网络也就不同,可以说神经元和网络结构定义了神经网络。

有一段时间,人们在研究深度学习的时候,非常重视网络的层数。下图是一个用于图像处理的神经网络:

2012年的时候,这个网络有八层,到2013年变成了九层,2014年变成了十九层,到2015年则达到了152层。

CNN,RNN,LSTM等

神经元的连接方式不同,神经网络也不同。即便是在全连接的情况下,输入数据加权之后的非线性处理方式也可能五花八门。

上图中是目前很热门的卷积神经网络,它的非线性处理算法是卷积。卷积和传统的神经网络里的非线性转换有很大差别,是指用一个小矩阵在一个大矩阵上做加权求和,然后把大矩阵再转换成一个小矩阵。

而传统的线性转换是把输入加权后直接代入某个函数中去运算,用这两种算法分别算出来的结果必然大相径庭。

区分不同的神经网络,最重要的是神经元。上图中列出了三种神经元。

最左边的是传统神经网络中的神经元,只有一步非线性运算,中间是GRU——GRU是RNN类型的一种,右边的是LSTM。

GRU和LSTM一般用于序列预测,都是目前常用的深度神经网络。方框代表一个神经元,带箭头的线代表输入和输出。

方框中每个不同颜色和不同性质的图形都代表一种运算。从图上可以看出,RNN神经元和LSTM神经元非常复杂。

这种复杂性能让神经网络不需要太多的层数,就能拥有非常强大的数据处理能力。

本文分享自微信公众号 - 悦思悦读(yuesiyuedu),作者:叶蒙蒙,曹悠

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-02-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • AI 入行那些事儿(7)深度神经网络的发展及其应用

    神经网络模型的发展几经沉浮,早在20世纪40年代,它就被提出来了,到80年底曾经达到过一次巅峰,但很快又归于平静,直到近年才又大放异彩。

    叶锦鲤
  • AI 入行那些事儿(13)人工智能的三类技术岗位

    人工智能能够不断发展,人才的支撑是不可或缺的。现在,人工智能的发展水平已经今非昔比,在这样一个背景下,这个行业需要怎样的人才呢?

    叶锦鲤
  • 学界丨神经网络之父 Geoffrey Hinton:深度学习的下一个飞跃是什么?

    Geoffrey Hinton,图源网络 AI 科技评论按: Geoffrey Hinton 被尊称为“神经网络之父”,他将神经网络带入到研究与应用的热潮,将“...

    AI科技评论
  • AI教父Geoff Hinton和深度学习的40年

    因为伤了背,Geoff Hinton已经站着工作了12年,似乎巧合地迎合了现在“站立工作”的这股风潮。

    大数据文摘
  • 斯坦福学者:生物智能可能是解决AI发展瓶颈的关键

    最初的类人智能出现在几百万年前的非洲大陆,并持续进化,最终在大约 10 万年前,在我们人类这一物种——智人的大脑中达到顶峰。

    新智元
  • 【AI TOP 10】百度王海峰获全国创新争先奖;谷歌 TPU 之后,苹果也研发 AI 专用芯片;福布斯评6大AI思想家

    新智元每日AI TOP 10 新智元 “每日AI ·TOP 10” 是新智元从 2017年5月起推出的一档快读栏目,精选汇集每日国内外最重大产业新闻,第一...

    新智元
  • 优秀的深度学习从业者都有哪些优秀的习惯

    这是一篇总结文,说说优秀的深度学习从业者拥有的一些习惯,从看论文到写代码,从刷论坛到刷比赛。

    石晓文
  • 人工智能革命:为什么深度学习会突然改变你的生活?(下)

    ? 人工智能革命:为什么深度学习会突然改变你的生活?(上) 编者按:过去4年,大家无疑已经注意到大范围的日常技术在质量方面已经取得了巨大突破。这背后基本上都有...

    小莹莹
  • Nature:AI与神经科学再现模拟大脑

    Chethan Pandarinath是佐治亚理工学院的生物医学工程师,他想帮助瘫痪病人操作机械臂,让他们也能像正常人那样抓取目标。要解决这个问题,首先要识别神...

    新智元

扫码关注云+社区

领取腾讯云代金券