创业公司Neurala新突破:在本地计算中解决“灾难性遗忘”

安妮 编译整理

在英伟达的GPU技术大会上,创业公司Neurala演示了新型深度学习神经系统解决方案,宣布解决了深度神经网络设计中的“灾难性遗忘”问题。他们正在为这个解决方案申请专利,并宣布计划在第三季度将新功能加入到Neurala Brain的SDK(软件开发工具包)中。

Neurala Brain是该公司的主要产品,让普通终端设备不依赖云服务器,可以直接加上人工智能。

杀死“灾难性遗忘”

迄今为止,AI系统虽然在深度学习方面取得了较大的突破,但在连续学习领域却一直停滞不前。如果一个AI系统在学习了任务A后再开始学习新任务B,则任务A的相关知识会被遗忘。如果还需要执行任务A,则需要从零开始重新训练。这个现象可以用一个术语来概括,我们称之为灾难性遗忘(catastrophic forgetting)。

对于灾难性遗忘,传统的解决方法需要强大的云服务器,即使用超级计算机进行并行化的数据处理。这种传统方法的弊端就在于必须依赖海量的数据系统,还可能导致隐私泄露。

云服务器不是全部

这也不是Neurala第一次提出无云服务器这个理念了。2016年,Neurala受NASA之邀,研发了一套具备“自主勘测”能力的火星探测器导航系统,这个系统能在单个GPU芯片上独立运行。而Neurala的主要产品Neurala Brain,也是秉持着在本地设备上运行的概念而设计的。

Neurala的 AI系统不依赖云计算,即可在智能移动芯片上实时检测行人和车辆

Neurala通过结合不同的神经网络结构,实现了动态学习。无论有没有云服务器,都可以直接在设备上完成学习任务。这种学习方法不依赖网络传输,还可以确保隐私不被泄露。现在,它还解决了神经网络学了新的、忘了旧的这一问题。

实则应用仿生学

人工神经网络面临着灾难性遗忘的问题,但人类和其他动物却可以连续学习。有资料显示,哺乳动物的大脑可以通过大脑皮层的神经元突触保护先前的记忆,从而完成连续性学习,这种固化方式叫做突触固化。

△ 神经突触与记忆间有着密不可分的联系

Neurala称,他们的神经网络系统从人类大脑中获取灵感,模仿大脑的学习和分析模式。目前,Neurala系统可以实现从工业无人机到电子产品、摄像机等各种智能产品的实时学习、调整和交互。玩具可以识别其主人,监控摄像机可以识别到具体的安全威胁,自驾车可以学会避免障碍,保证驾驶安全。

身世离奇的Neurala

在2006年1月,Anatoli Gorchetchnikov, Massimiliano Versace, Heather Ames三人创立了Neurala,提供适用于智能设备、机器人、无人机、无人驾驶汽车和玩具等的软件解决方案。它们希望帮助智能机器学习周围环境,并与之发生互动。

一晃就到了7年后——在2013年2月,Neurala开始进行种子轮融资,先后有Robolution Capital、Right Side Capital Management、SK Ventures等5家投资方对它进行了超过75万美元的种子轮投资。Neurala好像对融资这事真的不着急,到今年1月份,才拿到由Pelion Venture Partners领投的1400万美元的A轮投资。从成立到A轮,Neurala的融资时间跨度有11年之久。

△ 2014年,创始人之一Versace在TED上展望机器人的未来

Neurala最初为美国国家航空航天局和美国空军提供解决方案,现有客户主要是摩托罗拉、Parrot和Teal无人机。

关于DeepMind的相关研究

灾难性遗忘这个问题也不只是Neurala在研究。今年3月,Google Deepmind就公开了一篇新论文介绍自己在“记忆”方面的进展。这篇名为《克服神经网络中的灾难性遗忘(Overcoimg catastrophic forgetting neural networks)》的论文已经在《美国科学院院刊》(PNAS)上发表。

论文地址:http://www.pnas.org/content/114/13/3521.full

DeepMind在这篇论文中提出弹性权重巩固(EWC/Elastic Weight Consolidation)这种新算法,为了验证这种算法的可行性,DeepMind训练它同时学习多个不同策略的游戏。虽然此前系统并未接触过这两个游戏,但使用了EWC算法后,系统可以胜任多个任务的连续性学习。DeepMind坦言,同时完成多个任务不如单独训练的效果好,但无疑我们离灵活自由化的学习程序又迈进了一步。

△ DeepMind的新程序同时应对两个任务的学习进程

关于Neurala的新产品,该公司CTO北京时间今晚还会在GTC大会上发表题为《忘记灾难性遗忘:人工智能在重新部署后的学习》的演讲。Neurala的新方案到底能掀起多大的波浪,还需我们继续观望。

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-05-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

全网首发 | 马斯克的挑战(下)

这几天,我们在以全网最完整的编译、全网最迅速的动作,来为读者带来科技人气王Tim Urban的Neuralink长文。 我们用第一篇仔细剖析了神经网络的进化史...

3398
来自专栏AI研习社

MIT推进诊断老年痴呆的认知计算,解决机器学习的黑箱问题

毋庸置疑,人类的寿命正在变长。而伴随而来的老龄化问题,也导致了老年人可能面临认知衰退的威胁,比如老年痴呆等疾病。 根据相关机构的统计显示,美国确认患有老年痴呆的...

3436
来自专栏机器人网

“人工迷你大脑”像蜜蜂那样思考

欧洲机器人研究团队开发了一种带有“人工迷你大脑”的机器人,这种机器人参考了蜜蜂的思维方式,可以自己学习怎样对周围的环境做出反应。 NeuroRover外形小巧,...

2824
来自专栏ATYUN订阅号

Conservation Metrics通过声音分析帮助保护濒临灭绝的大象

根据联合国的统计,非洲每天有多达100头大象被参与非法象牙贸易的偷猎者屠杀。由于偷猎,每年大约有35000头大象被杀害。为了解决这个问题,加利福尼亚州圣克鲁斯的...

1363
来自专栏机器人网

2015机器人创变奖花落谁家?候选名单大揭秘(下)

文 | Robotics Trends 一年一度的Robotics Business Review创变奖(Game Changer Awards)旨在表彰机器人...

2787
来自专栏腾讯社交用户体验设计

一代宗师之多福八段锦 - 腾讯ISUX

4072
来自专栏玉树芝兰

白话开题报告写作

我让自己的研究生看了许多关于研究方法的书籍,并且要求写读后感。他们写读后感的时候一个个都很明白,真正到做开题报告就又糊涂了。

984
来自专栏华章科技

神探夏洛克都在用的记忆宫殿神技,你get了吗?

逛超市时,准备买的东西你总会忘记一样;在回家的路上,你总是忘了去干洗店取衣服。毕业一年,很多大学同学的名字你可能已经想不起来了。

911
来自专栏量子位

日本女排的新陪练:可以模仿对手球风的机器人

问耕 编译 量子位 报道 | 公众号 QbitAI ? 为了强化进攻能力,日本顶级排球运动员有了一个新的陪练:机器人。而且是可以模仿对手球风的机器人。 日本排协...

4017
来自专栏量子位

便宜可靠的激光雷达可能要来了!Luminar关键部件成本降到3美元

激光雷达(Lidar)比车还贵的价格和永远缺货的状态,已经成了无人车行业发展的一块巨大绊脚石。

942

扫码关注云+社区

领取腾讯云代金券