英特尔研究员展望人工智能与高性能计算的融合

2017年7月31日，高性能计算领域专业媒体HPCwire发表文章，介绍了英特尔研究人员对人工智能与高性能计算结合的技术展望。

将适应于特定问题的深层神经网络扩展到具有数千个节点的大型系统是一项具有挑战性的工作。事实上，这是将人工智能（AI）和高性能计算机（HPC）进行融合时面临的几个障碍之一。英特尔公司研究员、英特尔并行计算实验室主管Pradeep Dubey撰写了一篇博客，描述了英特尔为了更好地了解和解决这个问题所做的努力。

Dubey发布的博文提出了一个关于AI与HPC融合的问题：它会为我们带来什么？该博文让我们认识到前进的道路是不平坦的。除了上述扩展性问题，Dubey还写道：“更加困难的是，传统的HPC程序员对用于并行编程和分布式编程的低级应用程序接口（API）（如OpenMP或MPI）非常熟悉，而与此不同的是，一个典型的数据科学家可能只熟悉某些基于高级脚本语言的框架，如Caffe或TensorFlow。”

毫不奇怪地是，英特尔正在努力解决扩展性问题。“通过与国家能源研究科学计算中心（NERSC）、斯坦福大学和蒙特利尔大学的研究人员进行合作，我们在深度学习训练方面取得了突破性进展。我们已经将其扩展到Cori超级计算机上超过9千个基于Intel Xeon Phi处理器的节点中，同时保持与当前流行的使用混合参数更新方案的随机梯度下降变量法具有相同的准确性和小分组限制。我们将在2017年11月12日至17日在美国丹佛市举行的超级计算机大会上分享这项工作。”

该博客链接到一篇有趣的论文--对深度学习的大分组数据训练：泛化差距和夏普最小值（Sharp Minima）。这篇文章是英特尔和西北大学的研究人员为解决上述扩展性问题而撰写的。

其中一段摘要如下：“我们调查大分组机制中泛化性下降的原因，并给出了数值证据，以证明大分组方法将收敛于训练和测试函数的最小值。众所周知，夏普最小值将导致较差的泛化性。相比之下，小分组方法一致收敛到平坦最小值，且我们的实验支持一个常见的观点，即导致出现上述结果的原因是梯度估计方法中存在固有的噪声。我们讨论了几种实验性策略，以帮助大分组方法消除这种泛化差距。”

该博文具有很好的阅读价值，并对英特尔的工作与思考进行了简述。根据Dubey的个人简介，他的研究重点是在未来计算环境中能够有效处理新的计算与数据密集型应用范例的计算机架构。他拥有36项专利，发表了100多篇技术论文，于2012年荣获英特尔“突破性并行计算研究”成就奖，并获得了普渡大学2014年杰出电气与计算机工程师奖。