专栏首页arxiv.org翻译专栏使用软屏蔽BERT纠正拼写错误(CS CL)
原创

使用软屏蔽BERT纠正拼写错误(CS CL)

拼写错误纠正是一项重要而又具有挑战性的任务,因为令人满意的解决方案本质上需要人类水平的语言理解能力。在不失一般性的前提下,我们在本文中考虑了中文拼写错误纠正(CSC)。用于该任务的最新方法是基于语言表示模型BERT从句子的每个位置的待纠正候选对象列表中选择一个字符。但是,由于BERT并没有足够的能力来检测每个位置是否存在错误,因此该方法的准确性可能不是最佳的,这显然是由于使用掩码语言建模进行预训练的方式所致。在这项工作中,我们提出了一种新颖的神经体系结构来解决上述问题,它由一个基于BERT的错误检测网络和一个纠错网络组成,前者通过所谓的软屏蔽技术与后者连接。我们使用“ Soft-Masked BERT”的方法是通用的,并且可以在其他语言检测校正问题中使用。在两个数据集上的实验结果表明,我们提出的方法的性能明显好于基线,包括仅基于BERT的基线。

原文标题:Spelling Error Correction with Soft-Masked BERT

原文:Spelling error correction is an important yet challenging task because a satisfactory solution of it essentially needs human-level language understanding ability. Without loss of generality we consider Chinese spelling error correction (CSC) in this paper. A state-of-the-art method for the task selects a character from a list of candidates for correction (including non-correction) at each position of the sentence on the basis of BERT, the language representation model. The accuracy of the method can be sub-optimal, however, because BERT does not have sufficient capability to detect whether there is an error at each position, apparently due to the way of pre-training it using mask language modeling. In this work, we propose a novel neural architecture to address the aforementioned issue, which consists of a network for error detection and a network for error correction based on BERT, with the former being connected to the latter with what we call soft-masking technique. Our method of using `Soft-Masked BERT' is general, and it may be employed in other language detection-correction problems. Experimental results on two datasets demonstrate that the performance of our proposed method is significantly better than the baselines including the one solely based on BERT.

原文作者:Shaohua Zhang, Haoran Huang, Jicong Liu, Hang Li

原文地址:https://arxiv.org/abs/2005.07421

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Maat:自动分析VirusTotal以进行准确标记和有效的恶意软件检测方法(CS CS)

    恶意软件分析和检测研究社区依靠在线平台VirusTotal来基于大约60个抗病毒扫描程序的扫描结果标记Android应用程序。不幸的是,目前尚无关于如何最好地解...

    刘子蔚
  • 使用深度强化学习测试三消游戏(CS AI)

    测试视频游戏是制作过程中的关键步骤,需要花费大量时间和资源。一些软件公司正试图使用​​人工智能来替代能够使用人工代理的系统来减少对人力资源的需求。我们研究了使用...

    刘子蔚
  • 病毒传播启发的新型元启发式优化算法(CS AI)

    根据非自由午餐定理,没有一种能够完美解决所有优化问题的元启发式算法。这激发了许多研究人员不断开发新的优化算法。本文提出了一种新颖的自然启发式元启发式优化算法,称...

    刘子蔚
  • 基于语言模型调节和位置建模为的摘要式文本摘要(Computation and Language)

    我们对掌握多少预训练语言模型相关知识才能有利于执行摘要式摘要任务方面展开了研究。为此,实验时,我们在BERT语言模型的网络模型基础上调节了转换器的编码器和解码器...

    用户6868260
  • 非均匀页岩气在超致密约束下的非平衡输运(CS.CE)

    在许多工程应用中都遇到过表面高度封闭的非均匀致密气体的非平衡输运问题。例如,在页岩气生产过程中,甲烷是在高压下从超致密孔隙中提取出来的,因此气体是不均匀且致密的...

    用户7236395
  • numpy.linspace()

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

    于小勇
  • Partitioning in SQL Server 2008

    Why don’t you partition your table if you have millions of rows and get complain...

    javascript.shop
  • 针对网上资源分配机制设计的统一方法(cs.GT)

    这篇论文是关于网上资源分配在战略制定方面的机制设计。在该设定中,一个单独的供应者通过分配有限量的资源以求资源以顺序任意的方式到达。代理者则与每一个请求息息相关。...

    Donuts_choco
  • 关于PCR引物设计原则

    1. Primer Length: It is generally accepted that the optimal length of PCR primer...

    用户7625144
  • 关于前端工程师的一套英文题

    _kyle

扫码关注云+社区

领取腾讯云代金券