邓力获IEEE工业领袖大奖：曾受Hinton影响开创大规模深度学习，颠覆全球语音识别行业

新智元报道

来源：IEEE

编辑：鹏飞、白峰

【新智元导读】作为人工智能特别是语音和自然语言领域的里程碑人物，人工智能领头人邓力荣获IEEE信号处理协会工业领袖奖，以表彰他「领导了大规模深度学习的开创性研究和开发工作，颠覆了全球语音识别行业，并在自然语言处理和金融工程领域起到了领导作用」。

ICASSP 2020在西班牙的巴塞罗那举行，大会宣布2019年IEEE信号处理协会工业领袖奖的获得者是邓力，以表彰他在大规模深度学习的开创性研究和语音识别等领域的领导作用。

ICASSP即国际声学、语音与信号处理会议，是全世界最大的，也是最全面的信号处理及其应用方面的顶级会议。作为IEEE（电子技术与信息科学工程师协会）的一个重要会议，ICASSP对于信号处理方面的学术人士有着重要意义。它涵盖了音频和声学信号处理，图像、视频和多维信号处理，物联网的信号处理等至少十六个方向。

「道阻且长」的神经网络早期探索之路

邓力在大学本科期间学的专业是神经科学和生物物理学，不过他真正走上神经网络探索之路则是在博士期间。

20 世纪 80 年代，计算机还无法满足大型神经网络所要求的算力，也使得这一领域的研究遭遇了不小的瓶颈。当时正在斯康星大学麦迪逊分校攻读博士学位的邓力。

在研究过程中尝试使用物理模型和神经模型来创建人类听觉模拟和语音识别神经模型，这一研究也同样受到计算力等客观条件的限制，于是他转而尝试采用提取生物模型特征以及隐马尔可夫模型的方法。但由于当时这两个模型尚不成熟，最终取得的结果依旧不理想。

HMM图解

虽然几经挫败，邓力始终没有放弃统计模型和计算人工神经网络在内的相关研究，并在加入加拿大滑铁卢大学任职终生教授期间与他的一位博士生在合作的一篇论文中提出了一种增强神经网络记忆的新模型：将（短路）线性项加到非线性项来增强非线性神经网络的记忆能力。

虽然这项成果实现了一个完整的系统，然而当真正用在语音识别上时，性能还是无法超越隐马尔科夫模型。有趣的是，当时这位博士生论文的 External Examiner 正是深度学习领域赫赫有名的 Geoffrey Hinton。

对于这篇论文，他感慨道，「神经网络成功真是太难了」。虽然这篇论文最终通过顺利让这位博士生拿到了博士学位，但是 Hinton 这句意味深长的感慨也在无形中对邓力之后的研究方向起到了一定的影响，让他不得不暂时放下神经网络的研究，转向可行性较高的贝叶斯统计方法和生成模型。

峰回路转：重拾深度神经网络，并实现革命性突破

如果说加入微软后的邓力遭遇贝叶斯方法在语音识别研究上的瓶颈是他不得不重新考虑神经网络模型的契机之一，那曾经感叹过「神经网络成功真是太难了」的 Geoffrey Hinton 则是他真正重拾神经网络并实现突破性进展的「最佳助攻」。

1999 年底，邓力正式加入微软美国研究院，主攻语音识别的机器学习方向，并采用自己探索了多年的贝叶斯方法进行语言识别研究，然而这种方法无法适应增加层数后带来的计算复杂度的指数级增长，即便他带领团队尝试了很多方法来解决这一出题，最终也还是无法取得理想的进展。

不过在这种情况下，邓力依旧还没有考虑重拾神经网络来摆脱这一困境的信息，直到邓力读到 Geoffrey Hinton 于 2006 年发表的一篇关于深度信念网络的论文（《A fast learning algorithm for deep belief nets》）。

这篇论文中提出的模型也有多层生成式结构，然而并没有出现计算复杂度无法驾驭的问题，网络仍然能够对手写数字图像及其标签的联合分布生成表现良好的生成模型。邓力受此启发，意识到将深度神经网络应用到语音识别的可能性。

一场博士生论文外审，一次来自论文的启发，邓力深度神经网络的研究之路跟 Geoffrey Hinton 结下千丝万缕的关联。

2009 年，邓力不仅邀请 Geoffrey Hinton 作为他的顾问来共同探索深度神经网络在语音识别上的应用，二者还在 NIPS 2009 会议上联合组织了「2019 Workshop on Deep Learning for Speech Recognition and Related Applications」，分享尝试使用新方法训练的深度学习神经网络在语音识别上初步取得的可喜的进展。

有了这些成果作为基础，2010 年，邓力带领他的微软团队进行了大规模的实验，终于「守得云开见月明」，实现了深度神经网络在工业界的大型语音识别上的革命性突破，也让这个「2010 年」成为中国的语音领域的一个重要年份。

这一年，邓力和其团队成员俞栋探索用深度神经网络来改善大词汇语音识别的项目，并一同提出使用深层神经网络对一种比音素小很多、叫做 senones 的建模单元直接建模的方法。

另外值得一提的是，在这个项目开始之前，邓力还作为团队经理为微软西雅图研究院招来了 Geoffrey Hinton 的两位研究生（Abdo Mohamed 和 George Dahl）作为实习生，也正是 George Dahl 在 GPU 方面的丰富经验，对于这个研究项目起到了巨大的推动作用。

随后邓力和俞栋又尝试将前馈神经网络（FeedForward Deep Neural Network，FFDNN）引入到声学模型建模中，将 FFDNN 的输出层概率应用于替换之前 GMM-HMM 中使用 GMM 计算的输出概率，取得了具有突破性的效果。

2012年深度学习在语音识别领域取得重大进展

基于这一系列的成果，邓力和 Geoffrey Hinton 合作了论文《Deep Neural Networks for Acoustic Modeling in Speech Recognition》，经过近一年的审稿和修改并在 2012 年底将其在 IEEE Signal Processing Magazine （当时邓力刚刚从这家 IEEE 影响因子最高的杂志主编职位下任）正式发表。

该论文不仅讲述了深度神经网络对语音识别产生的影响，还阐述了如何将不同的机器学习方法（包括深度神经网络的方法）整合起来，为大规模的语音识别带来了重大的进展。这篇论文的被引用量已超过 5600 次，成为近代语音识别领域中最重要的论文。

时至今日，Geoffrey Hinton 与 Yoshua Bengio、Yann LeCun 一同摘下了 2018 年图灵奖，更是证明了深度学习神经网络这一方向的正确性和影响力。而邓力曾在 2016 年底同李开复分别向图灵奖评选委员会主席写信推荐和支持 Geoffrey Hinton 获奖，一时也成为业内佳话。

当纽约时报 2019 年 3 月 27 日首次报道加拿大深度学习的先驱获图灵奖时，更是引用了邓力对 Hinton 杰出成就的高度评价。

离开任职十几年的微软，跨界金融领域

2017 年，邓力离职记载了他十几年光辉岁月的微软，转身投向金融领域，加入对冲基金公司 Citadel 担任首席人工智能官（Chief Artificial-Intelligence Officer），立志要让深度学习和人工智能技术在这个他认为机会已相对成熟的金融领域大显神通。

Citadel 对于投资者来说应该并不陌生。它成立于 1990 年，是美国长期以来二级市场投资最成功的对冲基金公司之一。它拥有传统量化投资和高频交易最出色最优秀的专家，在见到深度学习在高科技成功之时就热切期望同勇于跨入金融业界全新广阔领域的人工智能专家进行最有效的合作。

而受邀加入 Citadel 担任首席人工智能官的邓力，他加盟之前的主要研究方向便是应用于大数据、语音、文本、图像和多模态处理的深度学习和机器智能方法。在业界沉浮多年时间里，邓力在进行学术研究的同时，在微软内部对人工智能技术商业化落地方面的实践也有很大的造诣。

2014 年，邓力在微软创立深度学习技术中心 DLTC 后，带领团队在深度学习的应用拓展方面做出了不少成果，其中就包括互联网搜索问答、电子邮件及企业文件搜索、多模态深度学习、市场销售数据的深度学习与商业应用等等。

到了 2016 年，他致力于解决实际问题的解析性和不确定性问题，研究如何将深度学习与不同的机器学习方法进行整合，从而让人工智能做出可解释的最优决策。

如此看来，邓力在自然语言、商业数据分析和提炼洞见方面颇深的积淀与 Citadel 在机器学习和人工智能上的布局需求可谓是不谋而合的。

IEEE 信号处理协会工业领袖奖

电气电子工程师学会（Institute of Electrical and Electronics Engineers，简称为IEEE）建立于1963年1月1日的国际性电子技术与电子工程师协会，亦是世界上最大的专业技术组织之一，拥有来自175个国家的42万会员。

IEEE的愿景是通过技术创新，促进成员的职业发展并在全球范围内推动社区的进步。除设立于美国纽约市的总部以外，在全球150多个国家拥有分会，并且还有35个专业学会及2个联合会。IEEE SPS（信号处理协会）是IEEE的一个专业学会，SPS的主要目的是推进和传播最先进的信号处理技术。

SPS工业领袖奖（The Industrial Leader Award）旨在表彰协会范围内使用信号处理技术取得突出贡献或新方向有重大进步的行业企业或技术领导者，奖励包括1,500美元奖金，奖牌和证书。

参考链接：

https://2020.ieeeicassp.org/general/society-awards/2019-ieee-signal-processing-society-awards/