易图秒懂の神经网络诞生

在“易图秒懂の人工智能诞生"里面,简述了人工智能背后的人物关系 ( 男人们间的关系 ”机器学习背后的男人们“ )。 这里开始解释神经网络。

前言

在开始描述前, 需要说明一点, 一个模型, 有了结构, 基本成为一个静态模型, 但是一个静态模型要变成动态模型, 背后要强大的转换学习机制。

静态模型 VS 动态模型

举个计算机的例子, 大多人都知道第一台通用计算机, 叫埃尼阿克ENIAC。

但是硬件意义上的第一台电子管计算机,并不是ENIAC,在他之前有个叫ABC的计算机, 就已经是硬件上的电子管计算机了。

那么差在哪里?主要是可不可以编程, 而可以编程就是一个动态模型。 这是这种差异, 使得冯诺依曼和图灵在发明计算机上享有了声誉。 而不是单单硬件的发明。

如果你能体会到静态模型和动态模型的差异, 那么就可以更好的读懂神经网络的诞生了。

一图抵千言

谁发明了第一个神经网络的静态模型?

第一个发明神经网络模型的两个人叫McClloch和Pitts, 这两个人受到罗素与控制论创始人维纳的深刻影响,Pitts勇敢的给罗素写了他著作的读后感, 然后受罗素邀请,才从流浪汉变成牛人。McClloch直接就是维纳实验室员工。 背后故事大把大把,就不展开了。

所以大家看到控制论对人工智能的产生有着深刻影响。其中之一,就是McCarthy怕受到维纳控制论的过强影响, 而命名了人工智能。命名很重要。 冯诺依曼就为图灵命名了信息熵。 他说熵, 信息领域懂的人不多,可进可退。 看来McCarthy也深懂次道。 人工智能,控制论领域的人懂得不多, 可进可退。

其实维纳也来到中国过, 对中国人工智能发展也有影响。 华罗庚先生早年就有受到维纳的培训,在维纳在中国呆了两年期间, 培训了很多信号处理,最优化方面内容。 后来华先生,关注美国计算数学发展,创立计算所。 而计算所是国内最早研究人工智能的研究所之一。

谁发明了第一神经网络的动态模型?

但是MP模型是一个静态模型, 就是你手动变化收入, 输出信号会变化。 没有学习能力。 刚好Hebb的心理学家发明了Hebb学习规则。 然后有个叫Rosenblatt的年轻人,就把这两个模型组合起来, 建立实验, 生成了感知机模型。

所以你从图上可以看到感知机模型和MP模型的差异,就是有个反向误差学习。 这一下不得了。 开启了神经网络的大春天。 全世界在庆祝模拟了人脑, 拼命砸钱。 有一个叫Widrow的年轻人,也用了一个学习规则, 叫Delta学习和MP模型结合, 搞出了ADALINE的电子线路回归模型。

大家看到Delta学习就是回归学习, 而Hebb 学习就是分类学习。 由于是线性的, 这里的学习用了最小二乘法。 一下子又回到高斯去了。

这个Widrow工作的影响巨大, 尤其是感知机在人工智能领域被打入冷宫后,一波搞电子电路,物理学方向的人坚持在做神经网络。 到了一定程度, 又回到了人工智能领域。而Widrow的工作,就是开启物理领域研究神经网络的那个人。

谁把感知机打入冷宫?

感知机太火了, Rossenblatt的高中学长Minsky也研究了一把, 发现了它的问题, 于是出了书。 书上写感知机言过其实了。 这个Minsky就是那个发起人功智能的大佬。 一下子, 神经网络研究进入冷宫。 后来随然有个叫Werbos的人研究了反向传播算法。

这个Webos还写了书,但是影响力还是不够,冷宫之冷, 他还发明了BPTT算法,就会涉及到搞物理的人搞得神经网络模型了。

小结

这里给出了静态模型和动态模型神经网络的诞生相关的人。 下次介绍搞物理的人搞得神经网络 和 低谷期坚持神经网络发展的人们。

原文发布于微信公众号 - AI2ML人工智能to机器学习(mloptimization)

原文发表时间:2017-07-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

学界 | Ian Goodfellow推特小课堂又开课啦:数学求导的小技巧

19440
来自专栏牛客网

牛客网平均水平的算法工程师面经分享

记录下渣硕的秋招经历,粗略估算大约海投了59家,真正面了9家左右吧,笔试大概也做了几十家吧,目前的情况是拿到了苏宁(准备拒)、好未来(已拒)、百度、腾讯的off...

924110
来自专栏Brian

概率回忆小结

样本空间与概率 概率论无疑是数学最重要分支的其中之一,它在计算机科学、金融、财务等领域应用广泛。但是好像所有的知识貌似又全部还给老师了,所以说”出来混早晚都还的...

37660
来自专栏PPV课数据科学社区

“数学之美”系列七:信息论在信息处理中的应用

我们已经介绍了信息熵,它是信息论的基础,我们这次谈谈信息论在自然语言处理中的应用。 先看看信息熵和语言模型的关系。我们在系列一中谈到语言模型时,没有讲如何定量地...

40290
来自专栏SIGAI学习与实践平台

­­­­理解计算-从根号2到AlphaGo 第4季 凛冬将至

原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不能用于商业目的。

12920
来自专栏一个会写诗的程序员的博客

计算机中的数学【集合论】现代数学的共同基础

现代数学有数不清的分支,但是,它们都有一个共同的基础——集合论——因为 它,数学这个庞大的家族有个共同的语言。集合论中有一些最基本的概念:集合(set),关系(...

10130
来自专栏AI研习社

小二,来一份机器学习书单!

编者注:澳大利亚机器学习专家、畅销书作者 Jason Brownlee,对机器学习领域的各类优质书籍进行了盘点,汇总成这份阅读指南。在 AI 研习社所筛选的学...

51850
来自专栏量子位

干货分享 | 自然语言处理及词向量模型介绍(附PPT)

云脑科技机器学习训练营第二期,对自然语言处理及词向量模型进行了详细介绍,量子位作为合作媒体为大家带来本期干货分享~ 本期讲师简介 ? 樊向军 云脑科技核心算法工...

49870
来自专栏新智元

【干货】怎样用深度学习做语音识别

【新智元导读】吴恩达曾经预测当语音识别的准确率从95%上升到99%时,语音识别将会成为人类与计算机交互的新方式。归功于深度学习,这4%的准确率的提升使得语音识别...

1.2K80
来自专栏wym

HDU 4925 Apple Tree(规律 构造)

题目:http://acm.hdu.edu.cn/showproblem.php?pid=4925

6120

扫码关注云+社区

领取腾讯云代金券