英特尔研究员展望人工智能与高性能计算的融合

2017年7月31日,高性能计算领域专业媒体HPCwire发表文章,介绍了英特尔研究人员对人工智能与高性能计算结合的技术展望。

将适应于特定问题的深层神经网络扩展到具有数千个节点的大型系统是一项具有挑战性的工作。事实上,这是将人工智能(AI)和高性能计算机(HPC)进行融合时面临的几个障碍之一。英特尔公司研究员、英特尔并行计算实验室主管Pradeep Dubey撰写了一篇博客,描述了英特尔为了更好地了解和解决这个问题所做的努力。

Dubey发布的博文提出了一个关于AI与HPC融合的问题:它会为我们带来什么?该博文让我们认识到前进的道路是不平坦的。除了上述扩展性问题,Dubey还写道:“更加困难的是,传统的HPC程序员对用于并行编程和分布式编程的低级应用程序接口(API)(如OpenMP或MPI)非常熟悉,而与此不同的是,一个典型的数据科学家可能只熟悉某些基于高级脚本语言的框架,如Caffe或TensorFlow。”

毫不奇怪地是,英特尔正在努力解决扩展性问题。“通过与国家能源研究科学计算中心(NERSC)、斯坦福大学和蒙特利尔大学的研究人员进行合作,我们在深度学习训练方面取得了突破性进展。我们已经将其扩展到Cori超级计算机上超过9千个基于Intel Xeon Phi处理器的节点中,同时保持与当前流行的使用混合参数更新方案的随机梯度下降变量法具有相同的准确性和小分组限制。我们将在2017年11月12日至17日在美国丹佛市举行的超级计算机大会上分享这项工作。”

该博客链接到一篇有趣的论文--对深度学习的大分组数据训练:泛化差距和夏普最小值(Sharp Minima)。这篇文章是英特尔和西北大学的研究人员为解决上述扩展性问题而撰写的。

其中一段摘要如下:“我们调查大分组机制中泛化性下降的原因,并给出了数值证据,以证明大分组方法将收敛于训练和测试函数的最小值。众所周知,夏普最小值将导致较差的泛化性。相比之下,小分组方法一致收敛到平坦最小值,且我们的实验支持一个常见的观点,即导致出现上述结果的原因是梯度估计方法中存在固有的噪声。我们讨论了几种实验性策略,以帮助大分组方法消除这种泛化差距。”

该博文具有很好的阅读价值,并对英特尔的工作与思考进行了简述。根据Dubey的个人简介,他的研究重点是在未来计算环境中能够有效处理新的计算与数据密集型应用范例的计算机架构。他拥有36项专利,发表了100多篇技术论文,于2012年荣获英特尔“突破性并行计算研究”成就奖,并获得了普渡大学2014年杰出电气与计算机工程师奖。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2017-08-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

【译】图论科学家教你如何安排婚礼座次

25480
来自专栏数据派THU

独家 | 一文读懂社交网络分析-上(附学习资源)

(点击可查看大图) 本文主要阐述: 社交网络的结构特性与演化机理 社交网络群体行为形成与互动规律 社交网络信息传播与演化机理 浏览后四章的内容请见下篇(2017...

1K100
来自专栏AI研习社

上交大卢策吾团队 AlphaPose 更新,顶级性能的实时姿态估计

AlphaPose 是一个多人姿态估计系统,具有极高的精准度。据卢策吾团队介绍, AlphaPose 在姿态估计(Pose Estimation)标准测试集 M...

21240
来自专栏量子位

卸载美图秀秀吧,谷歌和MIT用机器学习帮你在拍照前修图

安妮 编译自 The Verge 量子位出品 | 公众号 QbitAI 你去票圈发照片的时候肯定也先修修图。少则几秒加个滤镜,多则数十分钟精修一下美美颜。 以后...

35960
来自专栏PPV课数据科学社区

程序员为什么要学深度学习?

转自:infoq( ID:infoqchina) 导读 深度学习本身是一个非常庞大的知识体系。本文更多想从程序员的视角出发,让大家观察一下深度学习对程序员意味...

38850
来自专栏新智元

AI并不需要互联网:利用有性生殖,合成更多样、紧凑的神经网络

来源:uwaterloo.ca 作者:闻菲 【新智元导读】滑铁卢大学的研究人员,借鉴有性生殖让后代更能适应环境的道理,在虚拟环境中让神经网络完成“交配仪式”,同...

34140
来自专栏数据派THU

独家 | 人工智能技术在医学领域的应用与前景(附PPT)

[导读]2017年6月20日,零氪科技首席架构师王晓哲,在清华大学“天池医疗AI大赛”第一季肺部结节智能诊断 《医学影像在肿瘤诊疗中的应用及智能诊断探索》发表演...

93070
来自专栏PaddlePaddle

实操|如何进阶深度学习工程师(下篇)

这里所定义的中阶选手,是深度学习理论基础扎实,实操方面尝试扩展深度学习更多应用场景的侠客。由此,从初阶→中阶,基本流程保持不变,变化的是每个步骤的深入程度。

14720
来自专栏量子位

斯坦福公布3D街景数据集:2500万张图像,8个城市模型 | 下载

安妮 编译整理 量子位 出品 | 公众号 QbitAI 近日,斯坦福大学的研究人员公布了一个数据集,其中包含带有相机姿态的街景数据、8个城市的3D模型和拓展的元...

43640
来自专栏机器人网

技术猿 | 技术牛人讲解手势识别技术

---- 手势识别大家并不陌生,想得到的是二维手型识别、二维手势识别、三维手势识别这几个名词,但是到底手势识别技术是什么?怎么定义的?又是如何工作的呢? ...

61450

扫码关注云+社区

领取腾讯云代金券