对于 tractable tasks,机器学习很难胜过专家

我们 “语义计算” 群在讨论这个句子的句法结构:The asbestos fiber, crocidolite, is unusually resilient once it enters the lungs, with even brief exposures to it causing symptoms that show up decades later, researchers said.

我说,it looks fine in its entirety. "once-clause" has a main clause before it, so it is perfectly grammatical. The PP "with even brief exposures to it" is an adverbial of "causing ...": usually PP modifies a preceding verb, but here it modifies the following ING-verb, which is ok.

然后想到不妨测试了一下我们的 parser,果然,把 PP 连错了,说是 PP 修饰 enters,而不是 causing。除此而外,我的 parse 完全正确。这也许是一个可以原谅的错误。如果要改进,我可以让两种可能都保留。但是统计上看,也许不值得,因为一个 PP 面对前面的一个谓语动词和后面的一个非谓语动词,修饰前者的概率远远大于修饰后者。

张老师问: 是否此句在你的训练集里?如是统计方法。否则太不容易了

我说,我这是语言学程序猿做的规则系统,不是统计方法。句子不在我的 dev corpus 里面。parsing 是一个 tractable task,下点功夫总是可以做出来,其水平可以达到接近人工(语言学家),超越普通人(非语言学家)。说的是自己实践的观察和体会。靠谱的 parsing,有经验的语言学程序猿可以搞定,无需指靠机器学习。为了说明这个观点,我测试了我的汉语 parser:

这个汉语句子的 parsing,只有一个错误,“语言学”与 “程序猿” 之间掉链子了(说明 parsing 还有改进余地,汉语parsing开发晚一些,难度也大一些,当前的状况,掉链子的事儿还偶有发生)。但整体来看基本也算靠谱了。所以,即便是比英语句法更难的汉语,也仍然属于 tractable 人工可以搞定的任务。

语言学家搞不定的是那些千头万绪的任务,譬如语音识别(speech recognition),譬如文章分类 (document classification),譬如聚类习得 (clustering-based ontology acquisition) 。这些在很多个 features 中玩平衡的任务,人脑不够用,见木不见林。但是对于 deep parsing 和 信息抽取,解剖的是一颗颗树,条分缕析,这是语言学家的拿手好戏,都是 tractable 的任务,当然可以搞定。(甭管多大的数据,一句句分析抽取完了存入库里,到retrieve的时候还是需要“挖掘”一番,那时候为了不一叶障目,自然是需要用到统计的)。

在条分缕析的 tractable 任务上(譬如,deep parsing),我的基本看法是:有NLP经验的语言学家立于不败之地。而机器学习,包括深度学习(deep learning,当前呼声最高的机器学习神器),也许在将来的某一天,可以逼近专家水平。值得期待。最多是逼近语言学家,但是要超越人工,我不大相信。再牛的机器学习算法也不可能在所有任务上胜过专家的手工编码,这个观点本来应该是显然的,但是学界的多数人却天然地认为深度学习总是可以超越人工系统。

parser 的直接目标不是语义求解,而是提供一个靠谱的结构基础,这样后续的(语用层面的)语义理解、信息抽取、舆情分析、机器翻译、自动文摘、智能秘书或其他的NLP应用,就可以面对有限的 patterns,而不是无限的线性序列。从这个目标来看,我们的中文英文的 parsers 都已经达标了。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2016-01-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

ResNet成为AlphaGo Zero核心技术,孙剑详解Zero的伟大与局限

【新智元导读】DeepMind迄今最强棋手AlphaGo Zero横空出世,其中一个重要组成部分是出自华人团队的深度残差网络ResNet。新智元采访了深度残差网...

3587
来自专栏AI科技评论

【深度】Nature:我们能打开人工智能的“黑箱”吗?

编者按:人工智能无处不在。但是在科学家信任人工智能之前,他们首先应该了解这些人工智能机器是如何运作的,这也就是文中所提到的“黑箱”问题。在控制论中,通常把所不知...

3106
来自专栏新智元

邓侃解读谷歌首篇电子病历论文:完整披露谷歌医疗大脑野心

作者:邓侃 【新智元导读】上周,谷歌公布了首篇电子病历相关论文,由Jeff Dean率队联合众多大牛和顶级医学院完成。然而,不少业内人士,包括康奈尔大学副教授王...

3347
来自专栏新智元

【重磅】谷歌推出商用神经网络机器翻译系统,正确率最高87%(附论文)

来源:Google Research、Science 2016年10月18日, 世界人工智能大会技术分论坛,特设“新智元智库院长圆桌会议”,重量级研究院院长 7...

40610
来自专栏专知

AI与深度学习重点回顾:Denny Britz眼中的2017

【导读】近日,博客WILDML的作者Denny Britz把他眼中的2017年AI和深度学习的大事进行了一番梳理和总结:从AlphaGo的自主学习到AlphaG...

3445
来自专栏人工智能快报

深度学习帮助科学家开展实时引力波探测

“ 美国国家超级计算应用中心的科学家正在利用深度学习对引力波进行实时探测。 ” 位于美国伊利诺伊大学厄巴纳-尚佩恩分校(University of Illi...

3608
来自专栏人工智能LeadAI

TensorFlow从0到1丨第3篇:人类学习的启示

上一篇TensorFlow的内核基础介绍了TF Core中的基本构造块,在介绍其强大的API之前,我们需要先明了TF所要解决的核心问题:机器学习。 什么是机器学...

4254
来自专栏专知

音乐演奏家恐将失业,Facebook首次提出音乐风格翻译

2496
来自专栏专知

机器学习是“炼金术”?

1526
来自专栏PPV课数据科学社区

批评文:大数据,大安利

最近在社会上刮起一阵大数据的不正之风,本科生也敢拿着几个G的硬盘声称这些数据能解决某某疑难问题,让人联想起存满硬盘黄片的处男说这家伙老爽了。 虽然在社会科学领域...

2938

扫码关注云+社区