京东AI科学家5篇论文被自然语言处理顶级会议NAACL录用,自然语言生成课题取得重要突破

2018 NAACL

自然语言及语义理解的三大顶级会议之一NAACL(全称Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies)日前在美国新奥尔良落下帷幕。据悉,京东AI的科学家在本届会议上发表了多篇论文,于多个前沿课题取得算法创新及突破,引发业界关注。

NAACL与ACL、EMNLP被并称为自然语言处理领域的三大顶级会议,对科研论文的质量评定有着十分严格的标准,会议上聚集了自然语言处理领域里最顶尖的研究者和优秀从业者,发表论文一经采用即会被AI产业界学术界广泛关注并广为引用,因此在科学研究领域的论文评选上竞争十分激烈。

本次NAACL会议上,京东AI的科学家有5篇论文被收录,彰显京东在AI研究领域,尤其是自然语言处理领域的技术研发实力。

简单来说,自然语言处理要解决的两大核心问题是:让计算机理解人类语言中表达的语义,和让计算机用人类能理解的语言来表达、沟通和创作内容。而在这两个核心问题上的每一步进展,都会给业界带来新的应用场景和机会

在京东AI研究院联合多个研究机构的深入研究下,多个自然语言处理课题研究取得新成果,其中在“自然语言生成”这一课题上,京东AI科学家何晓冬博士与团队更是取得了重要突破。

自然语言生成是研究使计算机具有人一样的表达和写作功能。即能够根据一些关键信息及其在机器内部的表达形式,经过一个规划过程,来自动生成一段高质量的自然语言文本。

文本内容不仅要反映用户的意图,更重要的是还要在文章内大跨度上保持严谨的逻辑,文章的语言结构需要反映正确的时间顺序和注意语境语态的逐步变化。

在研究中,他们提出了一个语义评价激励函数来引导AI模型正确生成前后连贯的富有逻辑性的文本,并通过增强学习方法来训练这个模型,他们还特别设计一个深度神经网络来为句子间的关联性建模,从而使得生成的文本有正确的结构。

这个新的模型在一系列文本生成任务测试中获得了最优的结果,为业界在这个重要技术方向上带来了新的突破。

具体而言,机器生成语言的一个主要难点在于缺乏一个明了的方法来鉴定语言的质量。区别于语音识别或图像识别可以清楚的计算识别的正确率,衡量语言的质量本身还是一个有待解决的基础研究问题。人类可以比较直观的判断文章的好坏,但很难给出一个可具体计算的指标。

过去的方法主要集中在测量词语的局部匹配程度上,这对衡量生成一个短句的质量尚可用,但对含有多个语句的文章就无法反映其生成质量了。

为此,研究团队提出用深度学习技术来模拟人对文章质量的判断,即在没有人工干预的情况下,通过训练一个深度神经网络来给文章的质量打分。这个神经网络特别关注跨句子间的语序结构,从而能测量整篇文章的结构是否合适。

在训练文章生成模型时,这个神经网络就像一位教师,每次对模型生成的文章打分,并把测量结果返还给这个生成模型,从而让生成模型进行修正,并提高文章生成的质量。

这个过程里,他们提出了基于绝对语序和相对语序的多种教师神经网络,进一步精细测量文章生成的质量以监督生成模型的训练,从而达到最优的效果。

该技术在多个零售场景有广泛的应用——京东AI研究院不久前推出了AI写诗机器人,它可以根据商品特性以及用户的情绪和场景为用户配上贴切的现代诗,为业界首创。

未来该技术还能够在京东丰富的无界零售场景中得到更广泛的应用,例如给达人潮文、商详与广告、礼品购等场景赋能,发展前景可期。

此外,会议上京东AI的科学家们还有许多其他亮眼成绩。

京东AI科学家周伯文博士和易津锋博士在与IBM研究院的合作论文中提出了首个多样性少样本学习(diverse few-shot learning)算法。

在本文中,作者首先提出了具有理论保证的鲁棒矩阵补全模型将多样性的任务进行聚类,之后再在每个任务类中分别训练一个深度嵌入模型作为新的度量,最后将所学到的多个度量高效整合从而能够在数据量非常稀少的情况下有效的训练文本分类模型,并在多种语义分类任务上取得出色的效果。

何晓冬博士在与华盛顿大学、约翰霍普金斯大学、佛罗里达大学及微软研究院的合作论文中提出了一系列语义理解及语言生成模型,并在文章理解与摘要生成、图像描述生成及语义理解中的元学习等问题上取得重要进展。

另外,在下个月即将召开的人工智能国际顶级会议IJCAI上,周伯文博士与加州大学圣芭芭拉分校和IBM研究院合作发表oral论文,研究如何结合模仿学习(Imitation Learning)和强化学习(Reinforcement Learning)来学习基于自然语言定义的任务。

由于人类自然语言的多样性和歧义性,纯强化学习的方法很难直接学到最优策略,往往需要借助模仿学习的方式来获得额外的训练信号。另一方面,过多的模仿学习信号会导致系统过拟合到人类的示范,从而无法充分探索策略空间,降低学习效率。

为此作者们提出了一个动态的调度算法来决定何时从模仿学习或者强化学习信号中学习。实验结果表明新算法有效的降低了55%的错误率,并取得了标准数据集上目前最优的结果。

以上这些研究成果能广泛应用于京东的情感分析、对话系统、京东写诗、商详与广告、礼品购等重要场景,渗入京东无界零售场景的方方面面,不仅会推进人工智能科研成果的落地实践,更能大大满足用户的消费需求、提升用户消费体验。

从去年多位AI领域权威科学家纷纷加盟京东开始,即可预见今天京东人工智能科研实力的增强,在前不久的JD CUBE京东618启动大会上,京东AI平台与研究部负责人周伯文说到:

京东希望科技不是冷冰冰的机器,而是能够让用户感受并享受有温度的科技创造的美好生活。

语言作为人们交流的桥梁,对于计算机来说也同样是重要的交互方式,京东已实现通过解析语义、理解意图、情绪识别来让AI理解人类,而通过内容生成、文本摘要、情感对话等技术要让AI被人类理解。

京东将通过建立普惠性AI开放平台NeuHub,让各行各业的人通过AI的方式来思考他们的工作生活,用有温度的技术帮助每个企业、每个消费者走向无限可能的未来。

未来

京东AI研究院将继续联合学界、研究机构一起深耕人工智能科学技术,共同推进前沿课题的实践与应用,相信今后还会不断听到更多关于京东在人工智能领域取得的新进展。

---------------------END---------------------

下面的内容同样精彩

点击图片即可阅读

京东技术 ∣关注技术的公众号

原文发布于微信公众号 - 京东技术(jingdongjishu)

原文发表时间:2018-06-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

深度学习:远非人工智能的全部和未来

现在每一个人都在学习,或者正打算学习深度学习(DL),它是目前人工智能诸多流派中唯一兴起的一个。各个年龄阶段的数十万人学习着免费和收费的深度学习课程。太多的创业...

1193
来自专栏PPV课数据科学社区

人工智能革命:为什么深度学习会突然改变你的生活?(下)

? 人工智能革命:为什么深度学习会突然改变你的生活?(上) 编者按:过去4年,大家无疑已经注意到大范围的日常技术在质量方面已经取得了巨大突破。这背后基本上都有...

3727
来自专栏新智元

【视觉计算方式变革】孙剑:计算力增加10000倍,算法如何设计(60ppt)

演讲嘉宾:孙剑 采访&整理:佩琦 编辑:弗格森 【新智元导读】旷视科技首席科学家、研究院院长孙剑博士在AI World 2017世界人工智能大会上接受新智...

4218
来自专栏AI科技评论

前沿 | 罗切斯特大学最新研究成果:AI可以预测我们说什么

大多数的人可以对自己将要说的话做到完全保密,直到他们张嘴说话的那一秒。但是现在,计算机可以通过寻找你的大脑中与你将要说的话相关的大脑活动形式,迅速地预测你在想什...

2865
来自专栏PPV课数据科学社区

机器学习的五层境界

前些天在一场关于机器学习的直播中,介绍了自己总结的机器学习的五层境界。很多同学后来私信我说,总结的不错,对他们的学习目标具有一定的参考意义。Ryan表示很开心,...

3958
来自专栏镁客网

为了「理解」什么是对,人工智能还必须「理解」什么是不对

1513
来自专栏大数据文摘

注水、占坑、瞎掰:起底机器学习学术圈的那些“伪科学”

一边是今年的NIPS迎来了创纪录的8000多篇投稿,一边是李飞飞、Keras框架的作者François Chollet等大佬摊手承认,机器学习发展已进入瓶颈期。

820
来自专栏Bingo的深度学习杂货店

图像识别——突破与应用

最近,图像识别领域发布了白皮书,简单翻译一下做个总结。 ---- 目录 [1] Introduction      1.1 Exponential Growt...

1.6K11
来自专栏数据派THU

干货 | 三年拿到斯坦福CS博士的创业者李纪为:AI如何赋能金融

人工智能和金融,法律、医学等传统领域密切联系,金融科技正以前所未有的速度改变大众认知,这不仅驱动了传统金融业转型升级,也催生了诸多新金融业态。本次清华大数据“技...

1042
来自专栏机器之心

深度学习:远非人工智能的全部和未来

选自Linkedin 作者:Fabio Ciucci 机器之心编译 参与:黄小天、路雪 人工智能的这一波热潮毫无疑问是由深度学习引发的,自吴恩达等人 2011 ...

2788

扫码关注云+社区

领取腾讯云代金券