首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

ACL 2022 | 一口气翻两千词,字节AI Lab提出篇章到篇章的机器翻译新思路

机器之心专栏 作者:孙泽维 一会儿「梦露」,一会儿「门罗」,如何帮机器翻译改掉这类低级错误? 大家都听过大名鼎鼎的图灵测试。近年来取得巨大进步的机器翻译在众多场景下都取得了媲美人类的成绩[1],许多人惊呼,机器翻译能成功「骗」过人类了。但如果深入研究,就能发现机器翻译在一些特殊的场景下,仍然有些肉眼可见的瑕疵。篇章级翻译就是一个典型的场景。 人类在翻译的过程中会保持上下文一致,比如翻译英文名「Monroe」,不会一会儿翻译成「梦露」,一会儿翻译成「门罗」,但许多商用机器翻译仍然会犯这种「低级错误」。

04

Reformer: 高效的Transformer

理解序列数据 —— 如语言、音乐或视频 —— 是一项具有挑战性的任务,特别是当它依赖于大量的周围环境时。例如,如果一个人或一个物体在视频中消失,很久以后又重新出现,许多模型就会忘记它的样子。在语言领域,长短时记忆(LSTM)神经网络覆盖了足够的上下文来逐句翻译。在这种情况下,上下文窗口(在翻译过程中需要考虑的数据范围),从几十个词到大约 100 个词不等。最新的 Transformer 模型不仅改进了逐句翻译的性能,还可以通过多文档摘要生成整个 Wikipedia 的文章。这是可能的,因为 Transformer 使用的上下文窗口可以扩展到数千个单词。有了这样一个大的上下文窗口,Transformer 可以用于文本以外的应用,包括像素或音符,使其能够用于生成音乐和图像。

01

TensorFlow从1到2(十)带注意力机制的神经网络机器翻译

机器翻译和语音识别是最早开展的两项人工智能研究。今天也取得了最显著的商业成果。 早先的机器翻译实际脱胎于电子词典,能力更擅长于词或者短语的翻译。那时候的翻译通常会将一句话打断为一系列的片段,随后通过复杂的程序逻辑对每一个片段进行翻译,最终组合在一起。所得到的翻译结果应当说似是而非,最大的问题是可读性和连贯性非常差。 实际从机器学习的观点来讲,这种翻译方式,也不符合人类在做语言翻译时所做的动作。其实以神经网络为代表的机器学习,更多的都是在“模仿”人类的行为习惯。 一名职业翻译通常是这样做:首先完整听懂要翻译的语句,将语义充分理解,随后把理解到的内容,用目标语言复述出来。 而现在的机器翻译,也正是这样做的,谷歌的seq2seq是这一模式的开创者。 如果用计算机科学的语言来说,这一过程很像一个编解码过程。原始的语句进入编码器,得到一组用于代表原始语句“内涵”的数组。这些数组中的数字就是原始语句所代表的含义,只是这个含义人类无法读懂,是需要由神经网络模型去理解的。随后解码过程,将“有含义的数字”解码为对应的目标语言。从而完成整个翻译过程。这样的得到的翻译结果,非常流畅,具有更好的可读性。

02

【Science】无监督式机器翻译,不需要人类干预和平行文本

编译:弗格森 【新智元导读】 两篇新的论文表明,神经网络可以在不需要平行文本的情况下学习翻译,这是一个令人惊讶的进步,它将可以让人们可以读懂更多语言的文档。 因为神经网络,即一种以人脑为启发的计算机算法,自动的语言翻译取得了长足的进步。但是训练这样的网络需要大量的数据:通过数以百万计逐句对应的翻译来展示人类是如何做到这一点的。现在,两篇新的论文表明,神经网络可以在不需要平行文本的情况下学习翻译,这是一个令人惊讶的进步,它将可以让人们可以读懂更多语言的文档。 “想象一下,你给一个人很多中文书籍和大量的阿拉伯语

09
领券