英特尔研究员展望人工智能与高性能计算的融合

高性能计算领域专业媒体HPCwire发表文章,介绍了英特尔研究人员对人工智能与高性能计算结合的技术展望。

将针对特定问题的深度神经网络扩展到具有数千个节点的大型系统是一项具有挑战性的工作。事实上,这是将人工智能(AI)和高性能计算(HPC)进行融合时面临的几个障碍之一。英特尔院士(Intel Fellow)、英特尔并行计算实验室(Parallel Computing Lab)主管撰写了一篇博客,描述英特尔为了更好地了解和解决这个问题所做的努力,并承诺将在2017年全球超级计算大会(SC2017)上提供更多详情。

该主管在上周发布的博文提出了一个关于人工智能与高性能计算融合的问题:需要怎样才能实现?这篇博文让我们认识到前进的道路是不平坦的。除了上述扩展性问题,博文中还写道:“雪上加霜的是,传统的高性能计算程序员对用于并行编程和分布式编程的低级应用程序接口(API)(如OpenMP或MPI)非常熟悉,而在超级计算机上训练深度神经网络的典型数据科学家可能只熟悉某些基于高级脚本语言的框架,如Caffe或TensorFlow。”

毫不奇怪地是,英特尔正在努力解决扩展性问题。“通过与美国国家能源研究科学计算中心(National Energy Research Scientific Computing Center, NERSC)、美国斯坦福大学(Stanford University)和加拿大蒙特利尔大学(University of Montreal)的研究人员进行合作,我们在深度学习训练方面取得了突破性进展。我们已经在Cori超级计算机上将其扩展到超过9千个基于英特尔至强融核(Intel Xeon Phi)处理器的节点中,同时保持了与当前流行的使用混合参数更新方案的随机梯度下降变量法相同的准确性和小分组限制。我们将在2017年11月12日至17日在美国丹佛市举行的全球超级计算大会(Supercomputing Conference)上分享这项工作。”

该博客链接到一篇有趣的论文——《深度学习的大分组数据训练:泛化误差和尖锐收敛》(On Large-Batch Training For Deep Learning: Generalization Gap And Sharp Minima)。这篇文章是英特尔和美国西北大学(Northwestern University)的研究人员为解决上述扩展性问题而共同撰写的。

其中一段摘要如下:“我们调查了大分组机制中泛化性下降的原因,并给出了数值证据,以证明大分组方法将收敛于训练和测试函数的尖锐最小值。众所周知,尖锐收敛将导致较差的泛化性。相比之下,小分组方法一致收敛到平坦最小值,且我们的实验支持一个公认观点,即导致出现上述结果的原因是梯度估计方法中存在固有的噪声。我们讨论了几种策略,以期帮助大分组方法消除这种泛化误差。”

该博文具有很好的阅读价值,并对英特尔的工作与思考进行了简述。根据博文作者的个人简介,其研究重点是在未来计算环境中能够有效处理新的计算应用与数据密集型应用范式的计算机架构。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2017-08-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CVer

开源 | 8月GitHub机器学习热门项目TOP10

Auto-Keras是一个用于自动机器学习(AutoML)的开源软件库。它是由德克萨斯A&M大学的数据实验室和社区贡献者联合开发的。AutoML的最终目标是为那...

14620
来自专栏人工智能的秘密

研究中文文本相似度能解决很多NLP领域文本相关的问题

人与计算机的交互过程中,如果能提供人类的自然语言形式来进行交流,那人与计算机就能更加亲密友好。而要实现这一机制就需要自然语言处理来处理,一般来说自然语言处理会涉...

46800
来自专栏AI研习社

DeepMind AI 是如何识别音视频概念的? | 2分钟读论文

来源 / Two Minute Papers 翻译 / 林立宏 校对 / J叔 整理 / 雷锋字幕组 Look, Listen and Learn 熟悉机器学习...

34590
来自专栏机器学习算法与Python学习

干货|浅谈强化学习的方法及学习路线

一、介绍 目前,对于全球科学家而言,“如何去学习一种新技能”成为了一个最基本的研究问题。为什么要解决这个问题的初衷是显而易见的,如果我们理解了这个问题,那么我们...

429120
来自专栏AI科技评论

总结 | 邹炎炎:语义分析介绍及跨语言信息在语义分析中的应用

AI 科技评论按:语义分析(semantic parsing)是人工智能的一个分支,是自然语言处理技术的几个核心任务,涉及语言学、计算语言学、机器学习,以及认知...

13130
来自专栏量子位

来自小姐姐的入门推荐:7个基本机器学习算法Python实现

她总结了一份基本的机器学习算法,全部以纯Python(版本3.6+)实现。其中包括线性回归等七套算法,具体地址在此:

14720
来自专栏机器学习AI算法工程

上海联通大数据与机器学习驱动的离网预测模型

大数据的V特性Volume、Variety、Velocity可以使我们更容易捕捉到用户的离网倾向,从而作出相应的维挽措施挽留用户。上海联通部署大数据驱动的离网预...

45770
来自专栏量子位

超火的漫画线稿上色AI出新版了!无监督训练,效果更美好 | 代码+Demo

夏乙 安妮 编译整理 量子位 出品 | 公众号 QbitAI 给喜欢的动漫形象建个了收藏夹,里面收集她的各种图片……懂,谁没几个喜欢的动漫萌妹呢。 一些手绘线稿...

39830
来自专栏AI研习社

话题 | 如何看待谷歌最近开源的“最强NLP模型”BERT?

上周,谷歌AI团队开源了备受关注的“最强NLP模型”BERT的TensorFlow代码和预训练模型,不到一天时间,收获3000多星!

20220
来自专栏CSDN技术头条

WSDM 2017精选论文解读

人工智能和机器学习领域的学术论文汗牛充栋。每年的各大顶级会议、研讨班录用好几千篇论文,即便是亲临现场也很难追踪到所有的前沿信息。在时间精力有限的情况下,选择精读...

30360

扫码关注云+社区

领取腾讯云代金券