专栏首页新智元用《圣经》做训练数据集,达特茅斯学院完美打造语言风格转换工具

用《圣经》做训练数据集,达特茅斯学院完美打造语言风格转换工具


新智元报道

来源:techxplore

编辑:大明

【新智元导读】达特茅斯学院的研究人员为了提高计算机模型对文本风格的转换能力,竟然将目光投向了《圣经》!研究表明,不同版本的《圣经》行文风格迥异,使用不同版本的《圣经》作为训练数据集,训练出的算法可以将书面文本转换成内容相同,但行文风格迥异的新文本。

为了寻找改进计算机文本翻译质量的灵感,达特茅斯学院的研究人员向《圣经》寻求帮助和指导。结果发现,使用各种版本的《圣经》训练的算法可以将书面作品转换成针对不同受众的不同风格的译文。

目前市面上可用的多语种互译的网络工具有很多。但行文风格和样式转换工具,即文本的语种相同,但转换行文风格的工具出现的速度则要慢得多。在某种程度上讲,由于难以获得所需的大量训练数据,开发这类转换工具的研究遭遇了困难。因此,研究团队想到在《圣经》中汲取灵感。

来自达特茅斯学院的研究团队发现,《圣经》除了为遍布全球的许多人提供精神上的指引之外,还能提供一个“大型的、以前尚未开发的对齐平行文本数据集”。《圣经》每个版本都包含超过31000节经文,研究人员用这些经文为机器学习训练集生成了超过150万个源经文和目标经文的专门配对。

该研究论文已发表在Royal Society Open Science 期刊上。文中表示,这不是首个为文字风格转换而创建的并行数据集。但却是第一个使用《圣经》的数据集。过去这类数据集使用的其他文本,比如莎士比亚作品、维基百科条目之类,所能提供的数据集要么比现在小得多,要么不适合学习风格转换的任务。

英文版《圣经》有许多不同的行文风格,使其成为风格转换的完美源文本。”达特茅斯大学学生、本论文的第一作者Keith Carlson说。

由于《圣经》的文本已经全面索引化,对不同版本的《圣经》文本的组织是可预测的,消除了用自动化方式匹配相同文本可能引起的对齐错误的风险。

“圣经是一个'神圣的'数据集,可以用来研究这项任务,”达特茅斯计算机科学教授丹尼尔·洛克莫尔说。 “几个世纪以来,人类一直在执行组织圣经文本的任务,我们的信仰不可能基于不太可靠的对齐算法。”

为了定义研究的“风格”,研究人员参考了句子长度、被动或主动语音的使用,以及可能导致文本具有不同程度的简洁或形式的用词选择。

根据这项研究的结果:“不同的措辞可能会传达不同程度的礼貌度或对读者的熟悉程度,显示关于作者的不同文化信息,使文本对某些人群更容易理解。”

该团队使用了34种风格独特的圣经版本,其语言复杂程度从“詹姆斯国王版”到“基础英语圣经”。研究人员使用这些文本作为两种算法的输入,一种是名为“摩西”的统计机器翻译系统,另一种是常用于机器翻译的神经网络框架“Seq2Seq”。

虽然研究团队使用了不同版本的《圣经》来训练计算机代码,但最终可以开发出能够为不同受众转换任何书面文本风格的系统。例如可以从“Moby Dick”中选择英语,并将其风格转换成适合年轻读者、非英语母语人士或其他多种受众团体中的不同版本。

“文本简化只是一种特定类型的风格转换。更广泛地说,我们开发的系统旨在生成与原文具有相同含义的文本,但会用不同的文字进行表述。”卡尔森说。

达特茅斯学院在计算机科学领域有着悠久的创新历史。 “人工智能”(AI)一词最初就是在1956年达特茅斯学院召开AI研究学科的会议期间诞生的。该校其他相关研究还包括BASIC语言的设计,这是第一个通用和可访问的编程语言,以及为现代操作系统做出贡献的“达特茅斯时间共享”系统。

参考链接:

https://techxplore.com/news/2018-10-good-bible-algorithms.html

本文分享自微信公众号 - 新智元(AI_era)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-10-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 北大教授陈宝权:AI+三维视觉,让机器人具备决策和执行力

    众所周知,人工智能是模拟人类智能的技术,实现对人类智能的完全再现,是人工智能的终极目标。而人类智能是从人类的感官和认知开始的。所以,人类的感官往往成为研究人工智...

    新智元
  • 开源也要有备胎!安卓遭禁GitHub会闭源?专家:无需恐慌但要警醒

    昨日,安卓遭禁的新闻引发轩然大波。随后,开源中国在其博客中指出:Apache 许可证分发的软件也受美国出口管制。

    新智元
  • 【智驾周刊】Tesla员工公开反对自动驾驶激进策略 | NHTSA力挺自动驾驶:死个人算什么

    2016.7.30 | Vol .9 AutoDriving Weekly 智能驾驶周刊,旨在汇聚智能驾驶领域一周要闻以及点评,供读者参考。内容包括喜闻乐见...

    新智元
  • 数据库中间件那些事儿

    互联网当下的数据库拆分过程基本遵循的顺序是:垂直拆分、读写分离、分库分表(水平拆分)。每个拆分过程都能解决业务上的一些问题,但同时也面临了一些挑...

    涤生
  • 数据库中间件详解(精品长文)

    互联网当下的数据库拆分过程基本遵循的顺序是:垂直拆分、读写分离、分库分表(水平拆分)。每个拆分过程都能解决业务上的一些问题,但同时也面临了一些挑战。

    xjjdog
  • 你应该学会的Python多版本管理工具P

    可以看到,是从pyenv也是官方网站下载编译安装的。warning提示的是害怕通过pyenv安装的python会使用提示的文件中的配置,从而影响新安装的py...

    py3study
  • python入门教程python环境搭建教程

    参考 https://developer.aliyun.com/mirror/pypi?spm=a2c6h.13651102.0.0.3e221b11Yi8xp...

    汤贤
  • “黑客”入侵快递公司后台盗近亿客户信息 13名嫌犯被抓

    工作时间总能接到贷款买房电话,父母常被诈骗推销电话困扰……这些都与公民个人信息泄露有关。近日,江苏省淮安市警方历时1年,辗转湖北、上海、内蒙古等地,成功侦破一起...

    周俊辉
  • Python+matplotlib绘制三维图形5个精选案例

    接下来就可以使用ax的plot()方法绘制三维曲线、plot_surface()方法绘制三维曲面、scatter()方法绘制三维散点图或bar3d()方法绘制三...

    Python小屋屋主

扫码关注云+社区

领取腾讯云代金券