AI并不需要互联网:利用有性生殖,合成更多样、紧凑的神经网络

来源:uwaterloo.ca

作者:闻菲

【新智元导读】滑铁卢大学的研究人员,借鉴有性生殖让后代更能适应环境的道理,在虚拟环境中让神经网络完成“交配仪式”,同时逐渐减少AI能使用的计算和存储资源,生成了更紧凑、轻量的神经网络,能够在没有互联网连接的终端提供强大的性能。

滑铁卢大学研究人员表示,他们可以让人工智能在计算和存储资源被移除后自行适应,方法是教AI学习自己并不需要那么多资源。

如果真的做到了这一点,神经网络将不受互联网和云的影响,这样的好处是:隐私性更好,数据发送成本更低,可移植性更强,在地理偏远地区也能使用AI应用程序。

亲代网络“有性生殖”,得到更加多样和通用的子网络

在题为《深度神经网络交配仪式:通过有性演化合成学习紧凑特征表示》(The Mating Rituals of Deep Neural Networks: Learning Compact Feature Representations Through Sexual Evolutionary Synthesis)的论文中,研究人员描述了他们模仿自然演化过程,将神经网络置于虚拟环境中,然后“不断地逐渐减少AI能够获取的资源”,从而生成更紧凑子代神经网络的过程。

研究人员从生物演化中获得灵感,利用有性生殖比无性生殖后代更加多样、适应性更强的特点,在合成神经网络过程中(也即传统的“无性生殖”方式),增加了一个交配功能,让两个亲代网络“有性”结合,生成子网络。

神经网络在虚拟环境中进行有性生殖

同时,研究人员不断将AI可以获取的计算和存储资源减少,训练AI学会自己没有大量计算资源可用的这一事实,于是AI不断改变自己来适应环境,生成了特征更加紧凑的后代。

论文作者、滑铁卢研究教授Mohammad Javad Shafiee表示,当他们减少AI系统的计算能力或存储容量时,AI就会变得更小,从而“能够在这些环境中生存下去”。在实验中,研究人员将用于特定物体识别任务的神经网络体积缩小了200倍。

这种轻量紧凑的AI非常适于整合到嵌入设备(比如智能手机),运行语音助理或其他智能功能。

边缘AI:更小、更轻的智能

滑铁卢大学的这个AI并不是第一个边缘AI(Edge AI)。英特尔在今年早些时候推出了Movidus神经计算棒,这种即插即用的神经计算设备售价低于100美元,能在没有互联网的边缘部署视觉神经网络。

基于Movidius的技术,谷歌也推出了基于树莓派的视觉神经网络加速套件AIY Vision Kit,在没有云连接的情况下,提供强大的计算机视觉能力,售价不到50美元。

滑铁卢大学的深度学习AI,也面向终端应用,能让移动设备(智能手机)在没有互联网的情况下进行物体识别。根据MNIST和CIFAR-10数据集的实验结果,相对于无性进化的神经网络基准,“有性”演化出的神经网络拥有更高的结构效率(architectural efficiency),在测试精度方面也表现不错。具体说,在MNIST上结构效率翻倍(集群效率34.29倍,突触效率258.37倍),而且测试精度都达到了97%。

研究人员表示,他们接下来的研究方向是更彻底地调查如何让有利的“性状”遗传到子代的方法,以及设计更好的“择偶规则”,从而让神经网络中适合于终端智能应用的特定集群及其特征能够强强结合,并且延续到子代审计网络

论文作者、滑铁卢大学系统设计工程教授Alexander Wong说:“我们认为这一技术拥有巨大的潜力,对于很多计算资源受限且网络连接性受限的应用情景,这项技术可能成为很大的推动力。”

相关论文:https://arxiv.org/pdf/1709.02043.pdf

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-12-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

程序员为什么要学深度学习?

转自:infoq( ID:infoqchina) 导读 深度学习本身是一个非常庞大的知识体系。本文更多想从程序员的视角出发,让大家观察一下深度学习对程序员意味...

38450
来自专栏数据科学与人工智能

【数据科学】数据科学能回答什么样的问题?

机器学习是数据科学的发动机。每种机器学习方法(也称为算法)获取数据,反复咀嚼,输出结果。机器学习算法负责数据科学里最难以解释又最有趣的部分。数学的魔法在此发生。...

27980
来自专栏数据派THU

独家 | 人工智能技术在医学领域的应用与前景(附PPT)

[导读]2017年6月20日,零氪科技首席架构师王晓哲,在清华大学“天池医疗AI大赛”第一季肺部结节智能诊断 《医学影像在肿瘤诊疗中的应用及智能诊断探索》发表演...

88370
来自专栏大数据文摘

大数据下客户金融产品购买概率预测

25090
来自专栏数据科学与人工智能

【数据科学】数据科学可以做什么

机器学习是数据科学的发动机。每种机器学习方法(也称为算法)获取数据,反复咀嚼,输出结果。机器学习算法负责数据科学里最难以解释又最有趣的部分。数学的魔法在此发生。...

298100
来自专栏大数据文摘

日本科学家的AI读心术,解码脑电波,还原人眼所见

12820
来自专栏AI科技大本营的专栏

《自然》杂志医疗AI领域最新成果系列二:关于皮肤患者的AI解决方式

图片来源:CDAPEX 编译 | Ziqi Zhang 编辑 | Donna 【AI科技大本营导读】澳大利亚阿德莱德大学的在读医学博士生、放射线学专家Luke...

38760
来自专栏PaddlePaddle

实操|如何进阶深度学习工程师(下篇)

这里所定义的中阶选手,是深度学习理论基础扎实,实操方面尝试扩展深度学习更多应用场景的侠客。由此,从初阶→中阶,基本流程保持不变,变化的是每个步骤的深入程度。

14520
来自专栏数据派THU

独家 | 一文读懂社交网络分析-上(附学习资源)

(点击可查看大图) 本文主要阐述: 社交网络的结构特性与演化机理 社交网络群体行为形成与互动规律 社交网络信息传播与演化机理 浏览后四章的内容请见下篇(2017...

952100
来自专栏量子位

Google开启全新图像目标检测大赛,场景多样性和复杂度史无前例

12120

扫码关注云+社区

领取腾讯云代金券