【新智元导读】加拿大人工智能公司Maluuba昨日发布了一款基于机器学习的自然语言理解程序EpiReader,能理解并处理未经组织的自然语言在机器理解文本,并在常用的CNN和CBT数据集测试中取得了目前为止的最佳成绩,超越行业领导者IBM Waston、Facebook和谷歌 DeepMind。作为该公司顾问,Yoshua Bengio把EpiReader称为一个有意思的进步,并认为该技术将会推动Siri、Cortana、Alex等智能助理的问答能力。
加拿大人工智能初创公司Maluuba昨日发布了一款基于机器学习的自然语言理解程序EpiReader,称该模型在相关测试中准确率已经超过谷歌、Facebook和IBM Waston。
EpiReader相关研究成果论文已经在arXiv上发表,在新智元微信公众号后台回复0609可下载。
谷歌、Facebook和IBM Waston在自然语言理解领域的研究一直非常积极,一个月前,谷歌发起了一个项目,让自家AI读了2865本爱情小说来提高AI理解语言的能力。
机器在自然语言理解上的进展似乎并没有语音识别和图像识别那么快。不过,Maluuba的成果带来了希望:在不久的将来,机器或许可以像人一样理解文本。
EpiReader在训练中要完成的任务与英语考试中的“完形填空”题类似——选择最合适的单词来补充原文中缺失的部分。EpiReader共使用两套神经网络来完成这个任务:第一个神经网络基于对整段话的理解并选择一系列可能的答案;第二个则对选出的答案进行评估分析,找出正确的答案。
视频:EpiReader使用的两套神经网络
这与人类理解问题的过程很像。“人类每天都会根据阅读到的文本来进行预测,展开理性的选择,但是让机器学会这种思考方式,目前为止还做不到”,Yoshua Bengio说。
Maluuba对EpiReader的测试是在两个超大型的文本集中进行的:一个由谷歌Deepmind在去年夏天发布,基于CNN和Daily Mail新闻报道,包含了30万篇文章(Maluuba只使用了CNN的部分)。另一个是Facebook于今年2月份推出的The Children's Book Test(CBT),由ProjectGutenberg的98本经典儿童读物组成。
EpiReader在这两个数据集的阅读理解中正确率分别达到74%和67.4%。专家一致认为,在和两个数据集的阅读理解中,这是目前见到的最好成绩,具有里程碑的意义。要知道,人类的准确率也达不到100%,而是在80%左右。
EpiReader打败了测试的创建者——谷歌Deepmind和Facebook,也超过了今年三月IBM Waston在相同测试中取得的成绩。在CNN新闻语料库中,Deepmind的准确率为63.8%,facebook为66.8%,IBM Waston为69.5%。而在CBT语料库的测试中,Facebook准确率为63%,IBM Waston准确率为63.4%。(见下图)
CNN新闻语料库测试准确率 | CBT新闻语料库测试准确率 | |
---|---|---|
Maluuba | 74% | 67.4% |
Deepmind | 63.8% | N |
66.8% | 63% | |
IBM Waston | 69.5% | 63.4% |
数据来源:http://www.marketwired.com/press-release/maluubas-machine-literacy-model-beats-facebook-google-ibm-cbt-cnn-dataset-tests-2132623.htm
“这一结果意味着,我们的技术可以了解文本结构,并开始基于所读到东西形成理解”,Maluuba 的联合创始人Sam Pasupalak说,“在这些数据集上获得的突破意味着我们在帮助机器学习和理解非结构性的数据上已经走上正轨,这将为AI的发展开拓新的疆域。”
纽约大学数据科学中心和科朗研究所数学科学的助理教授Kyunghyun Cho在接受The Verge的采访时说,Maluuba取得的成绩很有意义。在机器理解的研究中,一个更大的目标是研究的自动化,也就是建立一个程序,可以自己提问、在网上进行搜索,获取相关信息,然后给你答案。“显然,目前的研究离这种全自动化的研究还差得很远,但他们已经在路上了”,Cho说。
Yoshua Bengio把EpiReader称为一个有意思的进步,但是他也很谨慎,认为要做的工作还有很多。Bengio目前是Maluuba的顾问,他说,EpiReader离人类水平的理解能力还很远。他认为,Maluuba和行业内其他公司的工作,将会推动Siri、Cortana、Alex等智能助理采用更加复杂的机器学习技术,以进一步巩固自己的问答能力。
目前的AI助理虽然能够回答问题,但是大多数都还是依赖有组织的数据集和工程师的编程。不过,EpiReader 之类的程序不需要预先编程,而是使用机器学习建立关于词与文本相关度的概率模型。这能让它理解并处理未经组织的自然语言。要知道,书和网页上大多数都是这种语言,人类的知识大部分也是由这些语言构成。
EpiReader的产品主管Mohamed Musbah说,公司希望有一天能用 EpiReader创建一些程序,它们要能够理解烦人的文件,比如用户手册和消费者服务文件,回答读者的问题。
Maluuba最近在A轮融资中获得了900万美元,但是公司并没有透露会不会研发使用 EpiReader技术的产品。
Bengio说,这种技术在未来会被用到每一种人机交互界面上。而且,文字理解的市场很大,比机器视觉大得多。在这里,Bengio说的“技术”并不是特指Maluuba的技术,而是普遍意义上的自然语言理解技术。“我认为,理解人们所说、所想或者所记录的技术有着广阔的市场前景,甚至比计算机视觉的市场要大,因为这跟我们如何与计算机交互有关。其应用场景可以是任何地方。”