CNN测试成绩超越谷歌,初创企业拓展自然语言理解新疆界(论文下载)

【新智元导读】加拿大人工智能公司Maluuba昨日发布了一款基于机器学习的自然语言理解程序EpiReader,能理解并处理未经组织的自然语言在机器理解文本,并在常用的CNN和CBT数据集测试中取得了目前为止的最佳成绩,超越行业领导者IBM Waston、Facebook和谷歌 DeepMind。作为该公司顾问,Yoshua Bengio把EpiReader称为一个有意思的进步,并认为该技术将会推动Siri、Cortana、Alex等智能助理的问答能力。

加拿大人工智能初创公司Maluuba昨日发布了一款基于机器学习的自然语言理解程序EpiReader,称该模型在相关测试中准确率已经超过谷歌、Facebook和IBM Waston。

EpiReader相关研究成果论文已经在arXiv上发表,在新智元微信公众号后台回复0609可下载。

谷歌、Facebook和IBM Waston在自然语言理解领域的研究一直非常积极,一个月前,谷歌发起了一个项目,让自家AI读了2865本爱情小说来提高AI理解语言的能力。

机器在自然语言理解上的进展似乎并没有语音识别和图像识别那么快。不过,Maluuba的成果带来了希望:在不久的将来,机器或许可以像人一样理解文本。

EpiReader在训练中要完成的任务与英语考试中的“完形填空”题类似——选择最合适的单词来补充原文中缺失的部分。EpiReader共使用两套神经网络来完成这个任务:第一个神经网络基于对整段话的理解并选择一系列可能的答案;第二个则对选出的答案进行评估分析,找出正确的答案。

视频:EpiReader使用的两套神经网络

这与人类理解问题的过程很像。“人类每天都会根据阅读到的文本来进行预测,展开理性的选择,但是让机器学会这种思考方式,目前为止还做不到”,Yoshua Bengio说。

Maluuba对EpiReader的测试是在两个超大型的文本集中进行的:一个由谷歌Deepmind在去年夏天发布,基于CNN和Daily Mail新闻报道,包含了30万篇文章(Maluuba只使用了CNN的部分)。另一个是Facebook于今年2月份推出的The Children's Book Test(CBT),由ProjectGutenberg的98本经典儿童读物组成。

EpiReader在这两个数据集的阅读理解中正确率分别达到74%和67.4%。专家一致认为,在和两个数据集的阅读理解中,这是目前见到的最好成绩,具有里程碑的意义。要知道,人类的准确率也达不到100%,而是在80%左右。

EpiReader打败了测试的创建者——谷歌Deepmind和Facebook,也超过了今年三月IBM Waston在相同测试中取得的成绩。在CNN新闻语料库中,Deepmind的准确率为63.8%,facebook为66.8%,IBM Waston为69.5%。而在CBT语料库的测试中,Facebook准确率为63%,IBM Waston准确率为63.4%。(见下图)

CNN新闻语料库测试准确率

CBT新闻语料库测试准确率

Maluuba

74%

67.4%

Deepmind

63.8%

N

Facebook

66.8%

63%

IBM Waston

69.5%

63.4%

数据来源:http://www.marketwired.com/press-release/maluubas-machine-literacy-model-beats-facebook-google-ibm-cbt-cnn-dataset-tests-2132623.htm

“这一结果意味着,我们的技术可以了解文本结构,并开始基于所读到东西形成理解”,Maluuba 的联合创始人Sam Pasupalak说,“在这些数据集上获得的突破意味着我们在帮助机器学习和理解非结构性的数据上已经走上正轨,这将为AI的发展开拓新的疆域。”

纽约大学数据科学中心和科朗研究所数学科学的助理教授Kyunghyun Cho在接受The Verge的采访时说,Maluuba取得的成绩很有意义。在机器理解的研究中,一个更大的目标是研究的自动化,也就是建立一个程序,可以自己提问、在网上进行搜索,获取相关信息,然后给你答案。“显然,目前的研究离这种全自动化的研究还差得很远,但他们已经在路上了”,Cho说。

Yoshua Bengio把EpiReader称为一个有意思的进步,但是他也很谨慎,认为要做的工作还有很多。Bengio目前是Maluuba的顾问,他说,EpiReader离人类水平的理解能力还很远。他认为,Maluuba和行业内其他公司的工作,将会推动Siri、Cortana、Alex等智能助理采用更加复杂的机器学习技术,以进一步巩固自己的问答能力。

目前的AI助理虽然能够回答问题,但是大多数都还是依赖有组织的数据集和工程师的编程。不过,EpiReader 之类的程序不需要预先编程,而是使用机器学习建立关于词与文本相关度的概率模型。这能让它理解并处理未经组织的自然语言。要知道,书和网页上大多数都是这种语言,人类的知识大部分也是由这些语言构成。

EpiReader的产品主管Mohamed Musbah说,公司希望有一天能用 EpiReader创建一些程序,它们要能够理解烦人的文件,比如用户手册和消费者服务文件,回答读者的问题。

Maluuba最近在A轮融资中获得了900万美元,但是公司并没有透露会不会研发使用 EpiReader技术的产品。

Bengio说,这种技术在未来会被用到每一种人机交互界面上。而且,文字理解的市场很大,比机器视觉大得多。在这里,Bengio说的“技术”并不是特指Maluuba的技术,而是普遍意义上的自然语言理解技术。“我认为,理解人们所说、所想或者所记录的技术有着广阔的市场前景,甚至比计算机视觉的市场要大,因为这跟我们如何与计算机交互有关。其应用场景可以是任何地方。”

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2016-06-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【换脸AI升级版】面部表情、身体动作、视线方向都能实时迁移

30930
来自专栏ATYUN订阅号

谷歌推出开源的ActiveQA,一个学习如何问好问题的AI

AI系统自然不善于提问,人们必须教导它们。这是Google关注的核心领域,它利用自然语言处理和其他会话AI技术,使与Google智能助理的互动尽可能自然。

15240
来自专栏AI科技评论

模仿大脑的结构制造AI地图,美国已经有大神在做了

GAIR 今年夏天,雷锋网将在深圳举办一场盛况空前的“全球人工智能与机器人创新大会”(简称GAIR)。大会现场,谷歌,DeepMind,Uber,微软等巨头的人...

29790
来自专栏新智元

深度学习NLP领军人Manning:未来5年神经机器翻译会有超越 | 新智元专访

【新智元导读】新智元日前对深度学习NLP领军人Chris Manning教授进行了专访。不同于传统观点,Manning教授认为语言并非只是基于规则的符号系统,语...

34850
来自专栏CreateAMind

AI Insight:放弃幻想,搞 AI 必须过数学关

从2012年“大数据”概念兴起到2016年人工智能大热,已经四五年时间了,该看的热闹看到了,该爆炒的话题炒够了,该沉淀的也沉下来了。现在越来越多的人已经放下质疑...

17830
来自专栏CSDN技术头条

深度解密今日头条的个性化资讯推荐技术

资讯产品近几年持续火爆,赚足了人们的眼球。以今日头条披露的数据为例:日活跃用户超过一亿,单用户日均使用时长超过 76分钟,资讯类产品的火爆程度可见一斑。资讯类产...

55360
来自专栏机器人网

如何让机器人认识“长颈鹿”?

带个三岁小娃去动物园,她凭直觉就知道这个在吃树叶的长脖子生物就是她图画书中叫做“长颈鹿”的动物。这看起来很平常,但其实非常了不起。图画书里是一个单线条组成的静态...

29080
来自专栏AI科技评论

深度 | 中国科学院孙哲南研究员:带你认识虹膜识别研究进展

2016人工智能湖南论坛暨自兴人工智能研究院揭牌仪式,来自国内外的许多顶级专家在会上给我们做了报告。中国科学院自动化研究所模式识别国家重点实验室研究员、天津中科...

50340
来自专栏数据猿

2017年十本必读的大数据&人工智能领域书籍,你都读过吗?

【数据猿导读】年关将至,回顾2017,小编记得自己曾在年初的时候给自己定下一个小目标——就是读30本书。然而随着春节的临近,小目标却成了遥不可及的梦。不知道在过...

1K130
来自专栏大数据文摘

为何机器学习识别声音还做不到像识别图片那么容易?

36640

扫码关注云+社区

领取腾讯云代金券