学界 | 哈佛大学提出在云、边缘与终端设备上的分布式深度神经网络DDNN

选自arXiv

机器之心编译

参与:李亚洲

近年来,深度神经网络在多种应用上取得了极大的成功,网络架构也变得越来越深。以卷积神经网络为例,从 1998 年 LeNet 的 5 层,发展到 2015 年产生了 152 层的 ResNet。

在网络架构变化的同时,包括物联网在内的终端设备数量也越来越多,有着急剧的增长。因为这些设备直接连接传感器数据(摄像头、麦克风、陀螺仪等),所以在终端设备上部署机器学习具有极大的吸引力。

但现在看来,顶级的机器学习系统还无法满足终端设备的现状:1. 要么把传感器数据输入到云端的大型神经网络模型;2. 要么直接在终端设备上使用简单的机器学习模型(如线性支持向量机)。前者有通信成本、延迟的问题,后者会降低系统的准确率。

为了克服这些问题,自然而然地就想到了分布式计算方法。层级分布式计算架构包括云、边缘与终端设备,这种架构有固有的优势,例如支持中心调节与局部决策,具有系统可扩展性,特别是对基于位置分布的 IoT 设备上的大规模智能任务。

虽然业内也有一些分布式方法,但依然面临多种挑战,例如终端设备存储与能源有限、通信成本等。那有没有一种系统能够训练一个端到端模型,把模型在云与终端设备之间划分开?

为了这个目标,作者们提出了在云、边缘以及终端设备这样的分布式计算层级上的分布式深度神经网络(DDNN)。论文内容摘要如下,具体细节请查看论文原文。

论文:Distributed Deep Neural Networks over the Cloud, the Edge and End Devices

地址:https://arxiv.org/abs/1709.01921

摘要:我们提出了在分布式计算层级上的分布式深度神经网络(DDNNs),包含云、边缘设备以及终端设备。在能够适应云上的神经网络推理的同时,DDNN 也允许在边缘、终端设备上使用神经网络的浅层部分进行更快、本地化的推理。在可延展的分布式计算层级支持下,DDNN 能按比例扩大网络大小,且在区域跨度上进行扩展。由于其分布式特性,DDNN 增强了传感器融合、系统故障容错、数据隐私。在 DDNN 的实现上,我们绘制了 DNN 在不同分布式计算层级上的部分。通过联合训练这些部位,我们最小化了设备上的通信和资源使用,最大化了在云中使用的提取特征的有效性。最终的系统内建了对自动传感器融合、故障容错的支持。作为此概念的证实,我们演示了一个 DDNN 能够利用传感器的多元性改进目标识别的准确率、减少通信成本。在我们的实验中,对比传统的在云中卸载原始传感器数据的方法,DDNN 能够在终端设备本地处理大部分传感器数据,同时取得高准确率,通信成本能够降低 20 倍。

图 2:DDNN 架构的概览。垂直线表示 DNN 通道,连接水平线(神经网络层)。(a) 是标准的深度神经网络(完全在云端处理);(b)是引入了终端设备和本地出口点(exit point),可能分类云之前的样本;(c)是(b)的扩展,增加了多个终端设备,聚合在一起进行分类;(d) 和(e)是(b) 和(c)的拓展,增加了云与终端设备之间的边缘层;(f)展示了边缘也能像终端设备一样被分布。

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-09-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

学界 | MIT CSAIL最新研究:Network Dissection可全自动内窥神经网络活动过程

AI科技评论按:据外媒TechCrunch最新报道,MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)发明了一种可以全自动内窥神经网络活动的系统Net...

297100
来自专栏CVer

381页机器学习数学基础PDF下载

【导读】近期,由Marc Peter Deisenroth,A Aldo Faisal和Cheng Soon Ong撰写的《机器学习数学基础》“Mathemat...

29530
来自专栏应兆康的专栏

12. 小结:建立开发集和测试集

13310
来自专栏AI深度学习求索

深度学习如何入门?

大家好,这里是我的第一篇文章,我希望讲一讲深度学习如何入门,这是我研究生阶段师兄安排的入门方式,希望给大家带来帮助。首先,需要有一定的知识储备,如何储备相关知识...

9510
来自专栏应兆康的专栏

12. 小结:建立开发集和测试集

• 从分布中选择开发集和测试集 ,它需要反映你将来的数据情况,并且它的效果足够好,这可能与训练的数据不在同一分布。

316100
来自专栏PPV课数据科学社区

☞【PPT】数据挖掘方法及案例介绍

1、数据挖掘的引入 面对山一样高的,海一样广的数据,我们该怎么办? ? 数据挖掘中的5W问题 ❶为什么要使用数据挖掘? ❷数据挖掘是什么? ❸谁在使用数据挖掘?...

478120
来自专栏新智元

【出售波士顿动力后,谷歌机器人进展】瞄准自主机器学习新方向

【新智元导读】在教会机器人理解人类行为方面,谷歌都有哪些进展?谷歌研究院的博客带来近期研究总结,他们的做的方向有三个:使用深度视觉特征理解人类行为展示、使用自监...

358120
来自专栏AI科技大本营的专栏

课程 | 8小时搞定机器学习之概率与统计推断

还记得我们的《XGBoost从基础到实战》吗?没错,我们的美女老师冒老师要开新课啦~~~专门为你排忧解难,解决各大数学问题——《机器学习之概率与统计推断》在等你...

34080
来自专栏AI深度学习求索

深度学习如何入门?

大家好,这里是我的第一篇文章,我希望讲一讲深度学习如何入门,这是我研究生阶段师兄安排的入门方式,希望给大家带来帮助。首先,需要有一定的知识储备,如何储备相关知识...

11240
来自专栏新智元

DeepMind 升级深度强化学习,仅10小时训练16个机器人灵活操纵物体

【新智元导读】DeepMind 研究人员改进深度确定策略梯度算法,在虚拟环境中训练机械臂叠协同完成堆叠积木的任务,每架机械臂的结果都被用于改进核心算法,10个小...

39560

扫码关注云+社区

领取腾讯云代金券