语言处理想突破,三座大山必须过

大数据文摘出品

编译:李佳、汤圆、钱天培

“我的飞机什么时候到?”

把这个问题抛给智能机器人助手。几乎可以肯定,机器立马就懵逼了。

“我”是谁?“飞机”是航班还是淘宝上订的模型玩具呢?“到”又是到哪呢?

如果是人类来回答这个问题,即使在情景不明确的情况下也能在快速澄清后给出回答,但对机器来说,除非依赖大量人为制定的规则,回答这样的问题难度堪比“哥德巴赫猜想”。

面对自然语言处理发展(NLP)存在的诸多难题,该领域的大牛、Salesforce的首席科学家Richard Socher在近日指出:NLP领域的发展要过三座大山。

困扰NLP领域的这三座大山究竟是什么?一起来听大佬说。

一直以来,语言都被认为是人类的独特能力,是智慧的表现。但最近,自然语言处理技术的发展似乎也将语言能力赋予给了机器。

帮你打电话订餐,给你讲故事,解决各种刁钻的冷知识问答…机器的语言能力已经无限接近人类水平。

现在你可以走进昏暗的客厅,让Alexa把智能灯的亮度提高到75%。你也可以询问他世界另一边的天气情况。在Google最近的Duplexde,AI助理已经能够给理发店打电话,为你预约剪发。

曾经被视为科幻的场景现在变为了现实,但为了维持真正的人机关系,机器必须能够与人进行更直观、理解上下文和自然的对话--这仍然是一个挑战。我致力于研究NLP,但是就像AI一样,我们还在这个旅程的开始阶段。

语言是分享信息和与周围连接的一种机制,但是机器需要理解语言的复杂性以及作为人类是如何使用语言进行交流的。情感分析、问题回答和联合多任务学习方面的进步使AI能够真正理解人类以及我们的交流方式。

情感分析

语言本身就是复杂的。它不断发展,而且细致入微,一般人需要数年才能掌握。通过情绪分析,我们可以使用AI来理解特定内容,比如品牌或电影评价是正面的、负面的还是中性的。

我们也能弄清楚演讲者的态度和意图(她是生气,高兴,惊讶还是准备好要买东西了?)。从客户服务到在线社区调节再到算法交易,能够即时分析数千条推特和数百条产品评论来理解公众对一个品牌的看法,这对于企业来说是非常有价值的。

情感分析技术已经存在了一段时间,但并不总是非常精准。随着NLP的进展,这种情况正在发生变化。在我担任首席科学家的Salesforce,我们的AI(叫做Einstein)允许品牌能够通过电子邮件,社交媒体,和聊天短信得到实时的情感分析,为客户提供更好的体验。

准确的情感分析,例如,服务代理可帮助了解应优先服务哪些不满意的客户,或者应向谁提供优惠。也可识别产品缺陷,衡量产品满意度,通过社交平台改变人们对品牌的认知。其他科技公司也提供类似服务。

对于情感分析来说,理解上下文也是很重要的。假设你有一家肥皂公司,有人在推特上说:“这种肥皂对婴儿来说真的很棒。”这可以是对儿童肥皂的积极支持,也可能是暗讽这对孩子来说很可怕。

这句陈述可能包含很多上下文,但又很简单!使用AI分析某一句子结构的所有可能性,并理解一个人在特定语境下的用意,是NLP研究的重大挑战。它既需要标记数据来改进模型培训,也需要新的模型在学习上下文的同时在许多不同类型的任务之间共享知识。

问答

随着NLP更好地解析文本的含义,帮助管理我们生活的数字助理智能将会提高。Siri和Google Assistant等应用程序可为常见问题提供优质答案,并执行简单的命令。理想情况下,我们应该能够问电脑任意问题,并且得到好的答案。

提供更好答案的一种方式是确保计算机理解问题。如果你问“我的飞机什么时候到达?”计算机怎么知道是在谈论你的航班还是从亚马逊订购的木工工具呢?

通过对语义的更深入理解,再加上对上下文数据的更好使用,计算机在判断语义这方面正变得越来越好。我们正在研究如何使用NLP学习每一层上下文,这样AI就可以同时处理所有内容,而不会错过重要的信息。

例如,动态共聚焦网络( dynamic coattention networks可以根据不同的问题对单个文档进行不同的解释,比如,面对一篇体育报道,在回答“哪位运动员获得了冠军?”和“最年轻的参赛者是几岁?”这两个问题是,机器就能对这篇报道作出不同的理解,从而反复假设多个答案,最终得到最好、最准确的结果。

联合多任务学习

科学界善于构建能很好地执行单个任务的人工智能模型。但是,更直观、会话式的并联系上下文的界面则需要一个不断学习的AI模型,它能够将新任务与旧任务集成起来,并在这个过程中学习执行更加复杂的任务。总体上来说,这对所有AI都是适用的,但在语言方面尤其如此,因为语言需要灵活性。

“谁是我的客户?”这是一个十分简单的任务:创建客户列表。但是,“谁是太平洋西北地区对某一特定产品的最佳潜在客户呢”?这样的问题增加了一层复杂性,需要大量的集成任务来提供答案,例如:如何定义“最佳”?客户定位在哪里?是什么因素导致客户对产品感兴趣的?每增加一个因素,问题的复杂性都会急剧增加。

Salesforce研究公司最近进行了一项名为“自然语言十项全能”的研究,该研究将多个任务转化为问答的形式,从而在一个单模型中解决了NLP最困 难的10项任务:问题回答,机器翻译,摘要,自然语言推理,情感分析,语义角色标注,关系提取,目标导向对话,数据库查询生成,代词消解。

使用多任务问答模型,将每个任务作为一种问答形式,单个模型在没有任何特定参数或模块的情况下共同学习和处理不同的任务。这不仅意味着数据科学家不再需要为每项任务建立、训练和优化单个模型,而且还意味着该模型具有零射击(zero-shot)学习能力---换句话说就是该模型可以处理以前从未见过或专门训练过的任务。

随着研究人员继续改进这样的模型,我们会看到AI界面在承担更复杂任务时变得更聪明。

虽然我们已经研究NLP很长时间了,但我们要走的路还长着呢。希望随着NLP技术的提升,人类与机器的交互形式最终能够迎来质的飞跃。

相关报道:

https://hbr.org/2018/07/ais-next-great-challenge-understanding-the-nuances-of-language

【今日机器学习概念】

Have a Great Definition

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2018-09-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏镁客网

用未知解决未知,AI学会了如何增强大脑记忆力 | 黑科技

12230
来自专栏数据派THU

避坑指南:数据科学家新手常犯的13个错误(附工具、学习资源链接)

本文是老司机给数据科学家新手的一些建议,希望每个致力于成为数据科学家的人少走弯路。

12110
来自专栏媒矿工厂

人工智能赋能流媒体

前言 人工智能(AI)、深度学习和自然语言处理将成为新一代流媒体行业的关键技术。从生产到消费的各个阶段,它们都将产生非常重大的影响。毫无疑问,随着人工智能在许多...

543110
来自专栏机器之心

专访 | 黄学东:微软TTS,第一款实时神经网络语音合成服务

一个月之前,微软发布了基于深度神经网络的文本到语音(text-to-speech,TTS)系统,并且做为 Azure 认知服务中的一项,提供面向客户的预览版本...

12610
来自专栏新智元

【视频】让围棋AI自己落子,DexNet机械臂深度学习抓取各种形状物体

【新智元导读】战无不胜的 AlphaGo 离不开它的“机械臂”黄博士。如果让 AlphaGo 自己落子,人类胜算想必能提高不少。抓取形状不规则的物品对机器人来说...

38570
来自专栏PPV课数据科学社区

个性化推荐技术的十大挑战

点击上方 “蓝色字” 可关注我们! ? 个性化推荐经常被人误解为细分市场和精准营销这两个概念。虽然它们之间有一些联系,但实质上却相差甚远。本文不仅清楚地讲述了...

42360
来自专栏PaddlePaddle

深度学习行业中的各类岗位概览

后端(RD)工程师:让算法工程师产出的代码落到业务中,适用于工业调用(比如配置数据库和设定便捷的交互)

11830
来自专栏新智元

【人工智能的架构趋势】AI专有芯片版百度大脑首次解密

在今年9月份召开的百度世界大会上,百度高级副总裁王劲在接受采访时曾透露,百度已经打造了FPGA版的百度大脑,性能远超此前的版本。“这在当年是百度的一个秘密项目,...

37180
来自专栏数据科学与人工智能

【数据科学】数据科学入门指南

数据科学虽然刚刚兴起,却发展迅速。 只要有数据的地方,就需要数据科学团队来分析、挖掘数据。 因而,在各个行业都需要大量的数据科学家。 2015年,数据科学家的平...

24590
来自专栏大数据文摘

Facebook最新研究:我们训练机器人讨价还价,没想到AI还自己学会了“使诈”(附论文)

15710

扫码关注云+社区

领取腾讯云代金券