资讯 | 讯飞百度阿里360深度学习大神论道DL与HPC

深度学习三巨头Yann LeCun、Yoshua Bengio和Geoffrey Hinton于2015年5月底发表于《Nature》杂志的综述文章“Deep Learning”表明，深度学习算法已经成为解决各种行业问题、赋予应用智能的关键技术之一，即便从整个自然科学界来看，深度学习对人类未来的发展也是影响深远。

当然，Yoshua Bengio也在最近的博文中表示，AI光靠几个媒体明星是远远不够的，需要成千上万科学家和工程师的工作，才能达成更大的进步并实现更多的应用。在深度学习领域，我们平日关注的更多是在算法层面，但其实行业巨头一直默默在做的，还包括了底层计算系统的设计和优化。

深度学习的潜力

CNN（Convolutional Neural Network）在视觉识别、物体检测、音频处理领域的进展已是众所周知，Google、微软、Facebook、百度在这方面发布了无数成果，他们在ImageNet挑战上你追我赶破记录的速度也让媒体目不暇接，而Face++、格灵深瞳、图普科技这样的创业团队也都在通过使用CNN提升视觉识别精度作为核心竞争力。

在语音识别领域，RNN处理序列数据的优势也不难理解。不管是百度，还是科大讯飞，都已经通过LSTM模型降低语音识别的错误率，百度最新公布的普通话识别率是96%，讯飞则实现了12种方言的成功识别。

视觉、语音的成果让机器能够看懂、听懂人类的世界，改变人机交互的模式，所以国内外的科技公司纷纷组建深度学习实验室，从学术界或者其他公司聘请来各路大神领导研究。再不济的，也要和研究实力较强的高校开展合作。不过，Yann LeCun、Yoshua Bengio还对未来深度学习带来的NLP革命表示期待。LeCun已经选择了问答和自然语言对话系统作为下一个重点。

其实，京东已经用深度学习做一些NLP相关的工作。借助京东DNN实验室开发的基于DNN的自动应答系统，京东上线了JIMI智能客服机器人来代替部分人工服务。其中，DNN的主要作用是命名实体识别和用户意图识别，通过SGD和word2vec的结合来训练模型，NER相比传统的CRF方法有6个百分点的提升。目前，京东在探索用RNN来提升效果。当然，微软、百度的机器翻译，也属于深度学习在NLP领域的最新进展。

借鉴神经科学的深度学习，也反哺了生物科学领域。在两个多月之前，原华大基因CEO王俊宣布辞职，转攻人工智能和基因测序的结合。他曾经介绍华大基因的小米种植技术，基于对基因的了解，对大数据的收集和对深度学习模型的训练，预测小米的成长情况，准确性可以达到90%。

医学图像分析和药物研发也是深度学习大神们的兴趣点。此外，气象、城市交通、空气质量的预测，都有很多机构在进行采用深度学习技术的探索。

深度学习的硬件难题

我们知道，人工神经网络理论其实在上个世纪80年代就已经出现，但因为实现难度一直被未成主流。深度神经网络之所以能在近年回归，得益于当前的数据量和计算能力能够支撑起足够大的网络，实现很好的效果。借助于pre-train和BP算法，深度学习可以让那些拥有多个处理层的计算模型来学习具有多层次抽象的数据的表示，各层的特征都不需人工设计，而是使用一种通用的学习过程从数据中学到，并且良好的特征也不需要大量的工程技术和专业领域知识，所以可用计算能力和数据量的增加很容易带来精度的提升。

换个角度来说，深度学习可能的一个瓶颈，也就是计算力。在谈到深度学习是否会取代传统机器学习时，京东DNN实验室首席科学家李成华曾表示，深度学习门槛较高，硬件要求也高。TalkingData CTO肖文峰甚至表示，深度学习为提高精度付出的成本太高，有时候甚至会有数量级的成本增加，这其中也包括了硬件的因素。

回头来看，Google研究员贾扬清在读博期间，如果不是获得NVIDIA捐赠的一块显卡，他是否能开发后来广泛影响学术界和工业界的深度学习开源框架Caffe，也还未可知。

HPC为弥补这个瓶颈带来了希望，当前的HPC依赖于并行计算，与深度神经网络模型的运行方式也恰好契合，而浮点运算、矩阵运算能力出色的GPU，也成为加速神经网络的好选择。所以，热衷于深度学习的各大公司都已经在构建自己的高性能计算集群。例如，阿里云在2015年7月宣布推出基于GPU的高性能计算服务，支持深度学习的应用，随后迭代出以深度学习为重要特性的DTPAI平台。阿里云CTO章文嵩预测，在大数据和深度学习的刺激之下，GPU高性能计算将成为云技术的下一次爆发点。

在最近的百度世界大会上，百度高级副总裁王劲在接受采访时确认了百度正在运行一个基于FPGA加速的百度大脑版本，CSDN之前的文章《深度学习成长的烦恼》中对此已有说明。在此之前，我们已经知道百度在ImageNet挑战中取得的成绩离不开其超级计算机Minwa（36个服务器节点，每个节点2个六核Xeon E5-2620和4个NVIDIA Tesla K40m GPU）。同时，微软也在尝试采用FPGA加速神经网络，这说明，巨头们对通过硬件平台的强化来提升神经网络效果的渴望可谓“欲壑难填”。

腾讯方面，其Mariana Cluster，也是基于GPU集群进一步提升模型规模和训练性能。另据李成华透露，京东也正在搭建一个开放计算平台，采用GPU加速，预计明年会在整个京东大规模运用。至于另辟蹊径研发的类脑处理器的IBM，那就更不用说了。

对于移动终端、智能机器人中的深度学习训练，因为海量数据传输的难度，可能依赖于体积微小的神经网络芯片在本地来为神经网络加速，但对于承载更多复杂任务的“云大脑”而言，GPU和FPGA的加速能力才是解决燃眉之急的良药。目前来看，业界更普遍采用的是GPU，这是因为GPU通用性更强，软件栈和生态圈完备，NVIDIA、AMD都做了很多相关的努力。不论何种方式，深度学习应用要关注硬件平台、与HPC结合，则是毫无疑问的。不过，单机多卡、多机多卡的并行计算，要如何做好资源的调度，以及保证梯度或者数据的高效传递，这对于大部分的从业者来说，还是相对崭新的课题。

将于9月24日在北京召开的的2015高性能计算用户大会（HPCUF2015），同样也关注了深度学习的应用，并专门设置了一个“深度学习”分论坛。深度学习的先行者，科大讯飞深度学习平台研发主管张致江，百度科学家、深度学习研究院算法组和自然语言理解组负责人周杰，阿里巴巴计算资深专家王琤，奇虎公司数据挖掘专家王占一等四位用户DL专家，将分别分享深度学习在语音识别、互联网应用、流量识别、视觉识别中的应用，以及HPC如何支持这些应用。浪潮HPC应用研发经理张清则会从高性能计算的角度，带来“基于HPC的Caffe深度学习平台”的介绍。

当然，深度学习领域在工业界和学术界的结合从来都是很紧密的。所以，本次大会也请来了深度学习领域知名学者、新加坡国立大学Associate Professor颜水成，发表题为“Deep Learning: from AI to True-AI”的Keynote。另外一位学者是美国伊利诺伊大学香槟分校新加坡高等研究院研究科学家、清华大学2015年中组部青年千人计划入选者鲁继文，他将阐述“深度度量学习在视觉分析中的应用”。

Yoshua Bengio坚信，只要大家齐心协力，就一定可以通过更为强大的能处理海量数据集的计算机，成规模地增加深度学习的技术和方法，帮助计算机跨越更广泛的领域，从更多种类的数据来源中学的更快更多，包括那些还未被人类运用的不能被标注的海量数据。所以，如果您想从深度学习技术进展中获益，不妨关注HPCUF2015。

本文为CSDN原创文章，未经允许不得转载，如需转载请联系market#csdn.net(#换成@)