专栏首页人工智能新型神经网络系统:由忆阻器制成,效率更高!

新型神经网络系统:由忆阻器制成,效率更高!

导读

美国密歇根大学开发出由忆阻器制成的神经网络系统,也称为储备池计算系统。它教会机器像人类一样思考,并显著提升效率。

背景

神经网络,是一种应用类似于大脑神经突触联接的结构,模仿动物神经网络行为特征,进行分布式信息处理的数学模型。神经网络中的算法可以通过训练,模仿人脑识别语音和图片的方式。但是,运行这种人工智能系统,往往会耗费很多的时间和能量,这也成为了这一技术的主要瓶颈。

之前,笔者介绍过法国科学家利用忆阻器开发出一种神经网络芯片,对于神经网络系统来说,不仅降低了能耗,而且还提升了速度。

神经网络受到了人类大脑启发,由神经元、节点、突触以及节点之间的连接组成。人类大脑中,神经突触可以作为神经元之间的连接,进行信息传递。这种连接是牢固的,当更多的神经突触受到刺激时,学习能力会得到提升。

然而,忆阻器的工作方式与神经突触有点类似。它由一层薄的铁电层组成,封闭于两个电极之间。在施加电压脉冲之后,其电阻会发生变化,就像生物神经元一样。当电阻值低时,这种突触连接会加强,当电阻值高时,这种突触连接会减弱。而忆阻器的学习能力,正是基于这种可调整的电阻。

也许,许多朋友不禁要问:什么是忆阻器呢?

简单介绍一下:忆阻器,英文名 “Memristor” 是英文 Memory(记忆)和 Resistor(电阻)两个词的混成词。顾名思义,忆阻器与记忆以及电阻都有关系,最早提出忆阻器概念的人,是任教于美国柏克莱大学的华裔科学家蔡少棠,时间是 1971 年。蔡教授推断在电阻、电容和电感器之外,应该还有一种组件,代表着电荷与磁通量之间的关系。

(图片来源:维基百科)

忆阻器的电阻会随着通过的电流量而改变,而且就算电路断电,电流停止了,它的电阻值仍然会被保留,直到有反向电流通过才会返回原状。忆阻器是一种有记忆功能的非线性电阻。通过控制电流的变化可改变其阻值,如果把高阻值定义为“1”,低阻值定义为“0”,这种电阻就可以实现存储数据的功能。

(图片来源:维基百科)

在普通的计算机系统中,负责逻辑运算的处理器独立于存储模块。然而,忆阻器不同于普通的计算机系统,它不仅可以用于存储数据,还可以实现逻辑计算。所以,它有效地解决了CPU和内存之间速度不匹配的问题,也就是所谓的“冯·诺依曼瓶颈”和“内存墙”的问题,进一步突破了计算机带宽和功耗所带来的限制。

创新

最近,密歇根大学电气工程和计算机科学系教授 Wei Lu 领导的研究团队,设计出一种由忆阻器制成的神经网络系统,也称为:“储备池计算”(reservoir computing)系统,它可以教会机器像人类一样思考,并显著提升效率。它可以在对话之前预测词汇,甚至可以基于现在预测未来的输出。最近,他们的研究成果在《自然通信》杂志上发表。

(图片来源:Wei Lu)

技术

“储备池计算”系统,是在典型神经网络的基础上进行改进,而且减少了所需的训练时间。之前,这种系统是通过大型光学组件实现。然而,密歇根大学使用忆阻器制造出这种系统,它需要的时间更少,并可以更容易地集成到现有的硅基电子器件中。

为了完成某项任务,需要进行神经网络训练。这一过程中,神经网络吸收了大量问题和这些问题的答案。在“监督学习”的过程中,节点之间连接的加权变得更重或者更轻,从而使得正确答案中的错误量达到最小。

神经网络一旦经过训练,就可以在不知道答案的情况下接受测试。例如,系统可以处理一个新照片和正确地分辨人脸,因为它已经从训练集中的其他照片,学习到人脸特征。Lu 表示,许多次,研究人员都是花费几天或者几月的时间训练网络,这显然非常昂贵。

图片识别也是一个相对简单的任务,因为它无需静态图片以外的任何信息。更复杂的任务,例如语音识别,高度依赖于上下文语境,需要神经网络去识别刚刚发生的事情或者刚刚讲过的话。

Lu 表示,当将语音转化为文字或者翻译语言时,一个单词的意思甚至是读音,都会根据之前的音节发生不同。这就需要递归神经网络,它在神经网络内部包含了循环,让神经网络具有存储效果。然而,训练这些递归神经网络也是特别昂贵的。

但是,通过忆阻器制造出“储备池计算”系统,可以避免大多数的昂贵训练过程,也为网络提供了记忆能力。这是因为系统最关键的组件:储备池,无需训练。

当一组数据输入到储备池中,储备池识别出数据中与时间相关的重要功能,将它以一种简单格式传递到第二网络中。然后,这种第二网络只需要像更简单的神经网络一样经过训练,改变第一网络传递过来的特征和输出的权重,直到达到可以接受的错误级别。

(图片来源:参考资料【2】)

Lu 表示,储备池计算的美丽之处在于:当科研人员设计它的时候,并不是非要训练它不可。

团队通过采用手写识别(神经网络中常用的基准)验证储备池计算概念。数字被分解为像素行,以类似摩尔斯电码的电压形式,反馈到计算机中,电压为0代表黑色像素,略高于1伏的电压代表白色像素。这项技术仅使用了88个忆阻器节分辨数字的手写版本,而传统的神经网络需要几千个节点完成这项任务,储备池达到了91%的精准度。

(图片来源:参考资料【2】)

价值

对于处理随着时间而变化的数据,例如数字和词汇流,或者依赖于过去结果的功能,储备池计算系统也显得特别熟练。

为了演示这个结果,研究团队测试了取决于多个之前结果的复杂功能,这在工程领域非常普遍。储备池计算系统能以最小的错误,为复杂功能建模。

Lu 计划通过这项研究探索两个未来方案:语音识别和预测分析。Lu 表示,他们可以预测自然口语语言,所以你无需说全单词,他们就可以预测出你将要说的下一句话。

在预测分析中,Lu 希望使用这个系统吸收带有噪音的信号,例如来自偏远无线电台的信号,制造出更加干净的数据流。他说,即使输入停止,这项技术也可以预测和产生输出信号。

关键字

忆阻器、神经网络、机器学习

参考资料

【1】https://news.engin.umich.edu/2017/12/new-quick-learning-neural-network-powered-by-memristors/

本文来自企鹅号 - IntelligentThings媒体

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 美国科学家研究出无需训练的神经网络,能帮助机器像人类一样思考

    原标题:美国科学家研究出无需训练的神经网络,能帮助机器像人类一样思考 近日,由密歇根大学电气工程和计算机科学教授 Wei Lu 研究团队在《自然·通信》上发表了...

    企鹅号小编
  • 深度学习的57个名词解释及相关论文资料

    一、激活函数(AcTIvaTIon FuncTIon) 为了让神经网络能够学习复杂的决策边界(decision boundary),我们在其一些层应用一个非线性...

    企鹅号小编
  • 神经网络开始放飞自我!都是因为架构搜索新算法

    雷锋网:雷锋字幕组出品系列短视频《 2 分钟论文 》,带大家用碎片时间阅览前沿技术,了解 AI 领域的最新研究成果。 雷锋网本期论文:结合分层表示的高级架构搜索...

    企鹅号小编
  • 美国科学家研究出无需训练的神经网络,能帮助机器像人类一样思考

    原标题:美国科学家研究出无需训练的神经网络,能帮助机器像人类一样思考 近日,由密歇根大学电气工程和计算机科学教授 Wei Lu 研究团队在《自然·通信》上发表了...

    企鹅号小编
  • 用验证机制加强神经网络的能力:研究者提出机器学习防御措施 | 2分钟读论文

    来源 / Two Minute Papers 翻译 / 洪振亚 校对 / 囧囧 整理 / 雷锋字幕组 本期论文 Reluplex: An Efficient S...

    AI研习社
  • ISCA2016:体系结构顶级会议CNN走红,神经网络论文夺桂冠

    【新智元导读】计算机体系结构顶级会议 ISCA2016日前召开,神经网络和深度学习成为热点。新智元整理了 ISCA 2016 神经网络相关论文(包括本届会议最高...

    新智元
  • Andrew Ng机器学习课程笔记--week5(下)

    Neural Networks: Learning 内容较多,故分成上下两篇文章。 一、内容概要 Cost Function and Backpropagat...

    marsggbo
  • 在 fast.ai 课堂上,我总结的 8 个深度学习最佳实践

    翻译 | 付腾 林立宏 整理 | 凡江 在 2017 年我感到最开心的事情就是,我更多地通过实践来参与最新 AI 的发展,学到了很多的数学知识。这很...

    AI研习社
  • 8个深度学习方面的最佳实践

    【摘要】本文介绍了作者在深度学习的课程中学到的八个非常有用的技巧。以下是译文。 我很开心自己在过去的2017年中在人工智能领域获得的成就。我也学了不少数学方面的...

    CSDN技术头条
  • 像人一样思考的教学芯片

    这个被称为水库计算系统的网络能够在对话之前对其进行预测,并帮助预测未来的结果。 由密歇根大学电气工程和计算机科学教授魏璐率领的油藏计算系统研究小组最近在Natu...

    企鹅号小编

扫码关注云+社区

领取腾讯云代金券