专栏首页朴素人工智能Soft-Masked BERT:文本纠错与BERT的最新结合

Soft-Masked BERT:文本纠错与BERT的最新结合

来自 | 知乎

地址 | https://zhuanlan.zhihu.com/p/144995580

作者 | 叶琛

编辑 | 朴素人工智能

文本纠错,是自然语言处理领域检测一段文字是否存在错别字、以及将错别字纠正过来的技术,一般用于文本预处理阶段,同时能显著缓解智能客服等场景下语音识别(ASR)不准确的问题。

本文将通过以下几个章节简要介绍文本纠错相关知识。

1. 文本纠错示例与难点
2. 文本纠错常用技术
3. 如何将 BERT 应用于文本纠错
4. 文本纠错最优模型:Soft-Masked BERT(2020-ACL)
5. 立马上手的纠错工具推荐

一.文本纠错示例与难点

生活中常见的文本错误可以分为(1)字形相似引起的错误(2)拼音相似引起的错误 两大类;如:“咳数”->“咳嗽”;“哈蜜”->“哈密”。错别字往往来自于如下的“相似字典”。

相似发音中文字典

相似字形中文字典

其他错误还包括方言、口语化、重复输入导致的错误,在ASR中较为常见。

现有的NLP技术已经能解决多数文本拼写错误。剩余的纠错难点主要在于,部分文本拼写错误需要常识背景(world-knowledge)才能识别。例如:

Wrong: "我想去埃及金子塔旅游。"
Right: "我想去埃及金字塔旅游。"

将其中的“金子塔”纠正为“金字塔”需要一定的背景知识。

同时,一些错误需要模型像人一样具备一定的推理和分析能力才能识破。例如:

Wrong: "他的求胜欲很强,为了越狱在挖洞。"
Right: "他的求生欲很强,为了越狱在挖洞。"

“求胜欲”和“求生欲”在自然语言中都是正确的,但是结合上下文语境来分析,显然后者更为合适。

最后,文本纠错技术对于误判率有严格的要求,一般要求低于0.5%。如果纠错方法的误判率很高(将正确的词“纠正”成错误的),会对系统和用户体验有很差的负面效果。

二.文本纠错常用技术

错别字纠正已经有很多年的研究历史。常用的方法可以归纳为错别字词典、编辑距离、语言模型等。

构建错别字词典人工成本较高,适用于错别字有限的部分垂直领域;编辑距离采用类似字符串模糊匹配的方法,通过对照正确样本可以纠正部分常见错别字和语病,但是通用性不足。

所以,现阶段学术界和工业界研究的重点一般都是基于语言模型的纠错技术。2018年之前,语言模型的方法可以分为传统的n-gram LM和DNN LM,可以以字或词为纠错粒度。其中“字粒度”的语义信息相对较弱,因此误判率会高于“词粒度”的纠错;“词粒度”则较依赖于分词模型的准确率。

为了降低误判率,往往在模型的输出层加入CRF层校对,通过学习转移概率和全局最优路径避免不合理的错别字输出。

2018年之后,预训练语言模型开始流行,研究人员很快把BERT类的模型迁移到了文本纠错中,并取得了新的最优效果。

三、将BERT应用于文本纠错

BERT示意图

BERT与以往深度学习模型的主要区别在于:预训练阶段使用了“掩码语言模型”MLM和“判断s1是否为s2下一句”NSP两个任务,特征抽取使用12层双向Transformer,更大的训练语料和机器「More Money,More Power」。其中,MLM任务使得模型并不知道输入位置的词汇是否为正确的词汇(10%概率),这就迫使模型更多地依赖于上下文信息去预测词汇,赋予了模型一定的纠错能力。

一种简单的使用方式为,依次将文本s中的每一个字c做mask掩码,依赖c的上下文来预测c位置最合适的字(假设词表大小为20000,相当于在句子中的每一个位置做了一个“20000分类”)。设置一个容错阈值k=5,如果原先的字c出现在预测结果的top5中,就认为该位置不是错别字,否则是错别字。

BERT文本纠错Baseline

当然这种方法过于粗暴,很可能造成高误判率。作为优化,我们可以采用预训练的方式对BERT进行微调,显著改进纠错效果。纠错的领域最好和微调领域相同(如果需要在新闻类文章中纠错,可以使用“人民日报语料”对模型微调)。

四、文本纠错最优模型:Soft-Masked BERT

为了弥补baseline方法的不足,最大限度发挥BERT功效,复旦大学的研究人员在2020 ACL上发表了最新论文:Spelling Error Correction with Soft-Masked BERT

模型架构图

论文首次提出了Soft-Masked BERT模型,主要创新点在于:

(1)将文本纠错划分为检测网络(Detection)和纠正网络(Correction)两部分,纠正网络的输入来自于检测网络输出。

(2)以检测网络的输出作为权重,将 masking-embedding以“soft方式”添加到各个字符特征上,即“Soft-Masked”。

论文简要分析

具体来看,模型Input是字粒度的word-embedding,可以使用BERT-Embedding层的输出或者word2vec。检测网络由Bi-GRU组成,充分学习输入的上下文信息,输出是每个位置 i 可能为错别字的概率 p(i),值越大表示该位置出错的可能性越大。

检测网络 与 Soft Masking

纠正网络

最后,将每个字特征过一层 Softmax 分类器,从候选词表中输出概率最大的字符认为是每个位置的正确字符。

整个网络的训练端到端进行,损失函数由检测网络和纠正网络加权构成。

损失函数

实验结果

作者在“SIGHAN”和“NEWs Title”两份数据集上做了对比实验。其中“SIGHAN”是2013年开源的中文文本纠错数据集,规模在1000条左右。”NEWs Title”是从今日头条新闻标题中自动构建的纠错数据集(根据文章开头展示的相似字形、相似拼音字典),有500万条语料。

Soft-Masked BERT 在两份数据集上几乎都取得了最好结果。同时我们发现,Finetune对于原始BERT的表现具有巨大的促进作用。

论文代码作者暂未开源,但是论文的模型和思路应该是非常清晰易懂的,实现起来不会太难。这儿先立个flag,有时间自己来实现一下。

五、立马上手的纠错工具推荐

笔者简单调研发现,文本纠错网上已经有不少的开源工具包供大家使用了。其中最知名的应该是pycorrector。它支持kenlm、rnn_crf、seq2seq、BERT等各种模型。结合具体领域的微调和少量规则修正,应该可以满足大部分场景中的文本纠错需求了。

使用测试

Demo中笔者使用了经人民日报语料微调过的BERT模型,通过pycorrect加载来做基于MLM的文本纠错。识别结果还算可以,甚至“金字塔”这种需要常识的错别字都纠正出来了。

当然pycorrect还支持各种语言模型和DNN模型,留给大家自行把玩 : )

此外,笔者还找到一个京东客服机器人语料做的纠错模型,主要解决同音字自动纠错问题,比如:

对京东新人度大打折扣 --> 对京东信任度大打折扣
我想买哥苹果手机 --> 我想买个苹果手机

不过仓库上一次更新在5年前,年代久远估计效果有限。

以上是笔者近期调研文本纠错后的一些思考,刚好上周在实验室组会中做了分享,就顺便写了这篇文章。如果大家发现有好的纠错方法或论文,欢迎留言分享一起交流哈

Reference

1. 中文文本纠错算法--错别字纠正的二三事: https://zhuanlan.zhihu.com/p/40806718

2. Spelling Error Correction with Soft-Masked BERT: https://arxiv.org/pdf/2005.07421.pdf

3. pycorrector:https://github.com/shibing624/pycorrector

4. 京东客服-文本纠错:https://github.com/taozhijiang/chinese_correct_wsd

5. SIGHAN 2013 Bake-off: Chinese Spelling Check Task: http://ir.itc.ntnu.edu.tw/lre/sighan7csc.html

本文分享自微信公众号 - 朴素人工智能(sunnyday_no1),作者:叶琛

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-06-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • [预训练语言模型专题] XLNet:公平一战!多项任务效果超越BERT

    感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理,我们将沿此脉络前行,探索预训练语言模型的前沿技术,红框中为已介绍的文章,绿框中为本期介绍的XLNet,...

    朴素人工智能
  • 微软统一预训练语言模型UniLM 2.0解读

    预训练语言模型(Pre-trained Language Model)的应用,使得原本无法针对各种语境变化的静态词向量表征,向着真正基于语境的语义特征表示(Co...

    朴素人工智能
  • 跨模态语言模型

    今天聊一聊近年来挺火的“多模态”任务。其实这不是我们第一次聊到多模态了,之前发的Kaggle PetFinder比赛方案其实就在解决一个多模态预测的问题。准确地...

    朴素人工智能
  • 聊一聊生信云(计算)

    生信云(计算)作为生物信息学发展的产物,它在生物信息学整个学科发展中起到了举足轻重的作用。生物信息学领域科研人员日常进行的数据分析工作已经和生信云紧紧联系在一起...

    生信技能树
  • python 获取Linux和Windows硬件信息

    接下来讨论一下关于 python-hwinfo, 它是一个展示硬件信息概况的工具之一,并且其配置简洁

    py3study
  • flask项目开发中,遇到http 413错误

    在flask项目中,上传文件时后台报http 413 Request Entity Too Large 请求体太大错误!

    用户1558882
  • crond配置

    # |  |  .---------- day of month (1 - 31)

    力哥聊运维与云计算
  • 使用Pyramid框架构建Python

    在本博另一篇文章“使用Buildout进行开发”中,有讲到使用Buildout来将Pyramid框架集成到Python环境中,并构建一个“helloworld”...

    py3study
  • 网络攻城狮怎么看待TCP/IP协议与UDP协议?

    在互联网中,存在着各种不同层次的协议,它们分别的功能也是不同的。但做为网络攻城狮,对这些协议的使用以及区分是工作的必备技能。那今天以网络攻城狮的角度来告诉大家攻...

    墨者盾
  • 2018-08-24

    函数可以嵌入在sql中使用的,可以在select中调用 存储过程要让sql的query 可以执行, 需要把 mysql_real_connect 的最后一个参...

    JavaEdge

扫码关注云+社区

领取腾讯云代金券