业界 | 微软亚研20周年,微软ResNet等AI技术突破盘点

机器之心原创

作者:李亚洲

ResNet、r-Net,在人工智能迅猛发展的今天,微软研究之花可独表一枝……

2016 年,《财富》杂志在文章《Why deep learning is suddenly changing your life》曾如此描述这波 AI 浪潮的兴起,「最初的革命火花开始于 2009 年。那年夏天微软的邓力邀请神经网络先驱、多伦多大学的 Geoffrey Hinton 来参观并合作... 邓力的团队用神经网络做了大量语言识别方面的实验。」

作为世界顶尖的研究中心之一,成立于 1991 年的微软研究院经过数十年的积累,成为了这波深度学习浪潮中的主力军。而微软亚研作为微软在美国本土以外最大的基础研究机构,作出了 ResNet、r-Net 这样的顶级研究成果,也培养了何恺明、孙剑这样一批优秀的后继力量。

11 月 5 日,是微软亚洲研究院(MSRA) 成立 20 周年。在「21 世纪的计算」学术研讨会以及后续的 20 周年庆典上,微软回顾了他们为全球 AI 技术发展贡献的重要研究成果,特别是在 AI 领域的突破性研究。机器之心对这些突破性研究进行了盘点,很荣幸的是我们从 2015 年初就已经开始关注、报道微软在 AI 领域的技术突破。

图:来自「21 世纪的计算」学术研讨会上洪小文演讲

计算机视觉 ResNet、Faster R-CNN

计算机视觉是人工智能核心领域之一,过去数年因深度学习得以快速发展。在 2015 年微软研究院的研究者们提出 ResNet 之前,卷积网络的深度有非常大的限制,最深的网络受限于梯度传播也只有十几二十层。而微软的研究者创新地提出了残差连接,从而使得训练数百甚至数千层成为可能,并在这种情况下能展现出大大超越以往的性能。

在 ImageNet 比赛分类任务中,ResNet 获得第一名,ResNet 的作者何恺明也因此摘得 CVPR2016 最佳论文奖,其他作者包括张祥雨(Xiangyu Zhang)、任少卿(Shaoqing Ren)和孙剑(Jiangxi Sun)

现在,ResNet 已经成为了计算机视觉领域的一大经典技术,很多 CV 任务都将预训练的 ResNet 作为基础网络,可以说大多数 CV 模型都离不开 ResNet。除了 ResNet,在计算机视觉领域微软还提出了用于实时物体检测的 Faster R-CNN,用于立体视觉的置信度传播算法,用于图像分割的 Lazy Snapping 算法以及暗通道去雾法等。

参见:

「超人」语音识别

除了计算机视觉,语音识别也因深度学习取得极大的突破。2016 年,微软在语音识别次错率上不断刷新记录:2016 年 9 月份,微软的单个系统在产业标准 Switchboard 语音识别任务的基准评估取得了 6.3% 的词错率(WER);2016 年 10 月份,微软语音识别系统实现了和专业速录员相当甚至更低的词错率(WER),达到了 5.9%;2017 年 8 月,微软语音识别研究团队在黄学东的带领下,将去年 10 月刷新的 5.9% 词错率降至 5.1%。

在 2017 年 9 月份,机器之心对黄学东的专访中他曾表示,「在技术研究的「最后一英里」,每 0.1 个百分点的进步都异常艰难。」但他也表示,「真正的语音识别有口音、噪音、远场、语速等等问题,在这些方面,人的鲁棒性还是不同一般的。所以我们在这个任务上达到了『超人』的水平只是一个小小的里程碑。」在这个领域,还有大量的工作需要完成。

参见:

机器阅读理解打破人类记录

2018 年 1 月初,AI 社区为微软、阿里所引爆。几乎在同一时间,微软和阿里巴巴的机器阅读理解系统在最新的 SQuAD 数据集测评结果中取得了并列第一的成绩,历史上第一次打破了人类记录。

在此比赛中,微软使用的是 MSRA 于 2017 年发布的论文《R-NET: MACHINE READING COMPREHENSION WITH SELF-MATCHING NETWORKS》中提出的 R-Net。R-NET 模型在 SQuAD 文本理解挑战赛中,EM 值(表示预测答案和真实答案完全匹配)达到 82.650 分。此后,微软亚洲研究院升级后的 NL-NET 模型在 EM 值和 F1 值(表示预测答案和真实答案近似匹配)两个维度上,分别获得了 85.954、91.677 的高分。

虽然此成绩经过媒体的夸大传播引起了 NLP 社区的反感,但我们确实在机器阅读理解领域不断进步。除此之外,过去几年,微软研究院一直在「让机器理解人类上」压以重注,如 2016 年微软发布数据集 MS MARCO,有意打造阅读理解领域的「ImageNet」;2017 年微软收购 NLP 明星公司 Maluuba。

参见:

机器翻译媲美人类

2016 年,自谷歌宣布谷歌翻译整合神经网络实现颠覆性突破之后,机器翻译成为了深度学习社区的热门研究领域。2018 年 3 月,微软研究团队表示,微软和微软亚研创造了首个在质量与准确率上匹配人类水平的中英新闻机器翻译系统。

在接受机器之心专访时,微软语音、自然语言与机器翻译的技术负责人黄学东表示,他们采用专业人类标注与盲测评分代替 BLEU 分值而具有更高的准确性,且新系统相比于现存的机器翻译系统有非常大的提升。因此,根据人类盲测评分,微软机器翻译取得了至少和专业翻译人员相媲美的效果。

参见:

本文为机器之心原创,转载请联系本公众号获得授权。

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

如何看待「机器学习不需要数学,很多算法封装好了,调个包就行」这种说法?

不抖机灵,想从接触过机器学习学术圈但已投身工业界的角度来回答。 我认为:大部分机器学习从业者不需要过度的把时间精力放在数学上,而该用于熟悉不同算法的应用场景和掌...

390100
来自专栏新智元

【Nature】拥抱深度学习,不要过多苛求黑箱

【新智元导读】Nature 昨日刊发新闻特写,针对AI,特别是深度学习中的黑箱问题的来龙去脉进行分析。AI 中神经网络深度学习方法的黑箱问题是科学家们一直在尝试...

45860
来自专栏新智元

【Quora直播】LeCun:深度学习突破,对抗式网络最值得期待

【新智元导读】Facebook AI实验室负责人、深度学习三驾马车之一的Yann LeCun今天(没有错,就在几个小时之前!)在Quora上回答提问,有一万多人...

34530
来自专栏AI科技大本营的专栏

四个月速成全栈机器学习?这位黑人小哥三个半月就开始找工作了

程序员转型AI、机器学习需要学多久?1年?3年?这是绝大多数考虑转型的人,从一开始就要认真思考的问题。 光说不练在这里没用,咱们还是要看真实的故事,来看看黑...

38880
来自专栏腾讯高校合作

犀牛鸟基金获奖者中科院自动化所刘康博士获COLING2014最佳论文奖

<图为在中国计算机大会上吕建院士、王巨宏女士为刘康博士(中)颁奖> 在刚刚结束的第25届计算语言学国际会议COLING2014颁奖仪式上,CCF-腾讯犀牛鸟基...

34870
来自专栏CVer

一周AI要闻

1. NIPS 2018:行人重识别告别辅助姿势信息,港中大、商汤和中科大提出姿势无关的特征提取GAN

10330
来自专栏机器学习AI算法工程

两个月入门深度学习,全靠动手实践

向AI转型的程序员都关注了这个号??? 搞CNN的工程应用有一段时间了,特别是在计算机视觉领域。分享下我自己的CNN学习历程。 简单的说,深度学习就是模仿人脑...

50380
来自专栏机器之心

学界 | 天河二号制定「量子霸权」标准,国防科大与上海交大联合发表NSR论文

量子霸权的实现,将是量子计算发展的一座重要里程碑,代表「量子计算的超强计算能力」自 37 年前提出以来首次从理论走进实验,标志一个新的计算能力飞跃时代的开始。近...

11720
来自专栏AI科技大本营的专栏

黑人小哥四个月速成全栈机器学习全程解密

程序员转型AI、机器学习需要学多久?1年?3年?这是绝大多数考虑转型的人,从一开始就要认真思考的问题。光说不练在这里没用,咱们还是要看真实的故事,来看看黑人小哥...

1.8K10
来自专栏上善若水

CG006读《什么是计算机图形学》

计算机图形学(computer Graphics) 是研究计算机世界中图形的学问。

23620

扫码关注云+社区

领取腾讯云代金券