【文智背后的奥秘】系列篇:基于 CRF 的人名识别

一.命名实体识别

命名实体识别的主要任务就是从输入文本中把含有特定意义的词或者词组挑出来。命名实体根据其特点可以分为两大类,一类是可以根据构词法规则及上下文语境识别出来的,比如人名、地名、机构名;另外一类是可以穷举的垂直类实体,比如影视名,小说名,游戏名等。

命名实体识别是自然语言处理领域的基础任务,对很多应用都有十分大的作用,比如信息检索,文本摘要,信息抽取,文本聚类分类等。拿信息检索来举例,命名实体识别的结果可以在检索端生成完整索引,在query端做整体下发,这样既可以提高检索效率,又可以降低检索噪音,提高相关性。

二.人名识别

人名识别是命名实体识别中比较典型的一类问题,目前业界主要采用的方法是基于统计的。我们可以把人名识别问题看成是一个序列标注的问题,即根据观察序列预测最优隐含状态序列。

我们把标记定义为:姓用字 B,名中字用字I,名尾字用字E,其他用字O,那么下图的例子中,人名识别的问题可以转化为在已知输入文本“去看谭咏麟演出”,找到一条最大概率的标注序列,即“OOBIEOO”。

求解序列标注的模型有很多,这里我们采用了条件随机场(CRF), 主要是因为他可以任意选择特征,而不像HMM有严格的独立性假设,并且CRF是将所有特征进行全局归一化,最终得到全局最优解。

对于统计的方法来说,最主要的问题就是特征选择与语料获取的问题,下面就这两个问题展开介绍我们的做法。

三.特征选择

我们的特征选择主要分为两大类,一类是基本特征:主要有基于构词法的特征,和基于上下文语言环境的特征。

去看陈奕迅演出 陈学友

去看张学友演出 陈德华

去看刘德华演出 张奕迅

去看谭咏麟演出 刘学友

构词法特征:上面加粗字体部分就是构词法的特征,我们从已有语料中知道这四个都是人名,于是这些人名用字的交叉组合也很有可能也是人名。

            去看邓紫棋演出

                            去看汪苏泷演出

上下文特征:还是上面的例子,黑色字体部分就可以看做是上下文特征,即在“去看^演出”这样的上下文中,知道^部分很大可能是人名。

另外一类主要的特征是泛化特征,之所以添加这类特征主要是因为我们实验发现,仅有基础特征模型的召回是不够的,需要一些泛化的东西来增加召回。

于是我们添加了一个是否为姓名常用字的特征,这个特征可以解决当该名字没有在语料中出现过的时候,也可以根据他的用字特点把新人名识别出来。

比如语料里面有张学友,也有刘德华, 但是没有张学华,于是W(S华 == E, C-2-1 == 张学) = 0, 但是 张,学 作为姓名常用字是有的,那么 W(S华 == E, C-2-1 == 11) > 0 , 这样就增加了这个人名被识别到的概率。

四.语料获取

有监督的学习方法最大的问题就是语料,如何能够获取到又多又准的语料是老大难的问题。现在大部分人都是利用已有标注的熟语料或者人工标注的方法去获取,人名日报是一份比较权威的熟语料,但是我们发现他量小,年份久远,与我们的应用场景网络语料的差距也很大。人工标注语料的成本是很大的,时间长,速度慢,数量小。于是我们想到了一种boosting的语料自动获取方法。

Boosting的方法主要思想就是先用n个基分类器,然后把他们进行加权融合,产生一个最后的结果分类器,在这n个基分类器中,每个单个的分类器的识别率不一定很高,但他们联合后的结果有很高的识别率,这样便提高了该弱分类算法的识别率。

这里我们也是采用了类似的思想,将多种人名识别的结果做投票,认为越多的方法识别到的结果则越准确,我们把这种准确的语料补充到训练语料中去,优化我们的模型。这里我们使用了旧版人名识别结果、竞品人名识别结果、机器翻译的识别结果、及我们基础模型的识别结果来做投票。这四类中,旧版结果,竞品结果及我们的结果我想象都不需要再做介绍了,下面对利用机器翻译结果做人名识别简单介绍一下。

利用机器翻译的结果做人名识别的方法是这样的,我们发现中文人名翻译成英文之后 是有明显特征的,首先是两个大写开头的单词,另外这两个单词是中文字的拼音。那么我们利用中文串的中英翻译的结果及他的拼音串做比对,在满足着两个特征的时候,就是发现其中所包含的人名了。

五、结论

我们的模型经过多次特征及语料的调整,最终在开放集合上测试,最终准确率有96%,召回率有89%。下一步针对人名识别我们还会对语料做持续扩充,并且增加更精细化的特征,让识别效果进一步提升。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏深度学习自然语言处理

什么是迁移学习 (Transfer Learning)?这个领域历史发展前景如何?

在SMP会议上,感觉到了迁移学习的前景很乐观,感觉这个也是以后必学的知识,所以这里小编先放了这篇文章,即使现在看不懂的,也可以收藏,反正以后必须要了解哒!

891
来自专栏大数据挖掘DT机器学习

用R语言做时间序列分析(附数据集和源码)

时间序列(time series)是一系列有序的数据。通常是等时间间隔的采样数据。如果不是等间隔,则一般会标注每个数据点的时间刻度。 下面以time seri...

4044
来自专栏机器学习算法与Python学习

如何识别图像边缘

图像识别?的搜寻结果 百度百科 [最佳回答]图像识别,是指利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对像的技术。一般工业使用中,采用工业相...

3196
来自专栏华章科技

大神Hinton的Capsule论文终于公开,神经网络迎来新探索

今年9月的一次大会上,大神Geoffrey Hinton再次号召展开一次AI革命。

863
来自专栏CreateAMind

关于深度学习的机理,优化和网络结构的一些个人观点

博士一把年纪,理论物理已经没心读下去了,不知廉耻来知乎卖萌,还是深度学习卖萌,才转行半年多就敢出来卖,好羞耻呀~喵~

1192
来自专栏量子位

大神Hinton的Capsule论文终于公开,神经网络迎来新探索

夏乙 问耕 编译整理 量子位 出品 | 公众号 QbitAI ? “我的观点是把它全部抛掉,重头再来。” 今年9月的一次大会上,大神Geoffrey Hinto...

3385
来自专栏机器学习与自然语言处理

Stanford机器学习笔记-7. Machine Learning System Design

7 Machine Learning System Design Content   7 Machine Learning System Design  ...

1909
来自专栏新智元

LeCun 推荐!50 行 PyTorch 代码搞定 GAN

【新智元导读】Ian Goodfellow 提出令人惊叹的 GAN 用于无人监督的学习,是真正AI的“心头好”。而 PyTorch 虽然出世不久,但已俘获不少开...

3417
来自专栏CSDN技术头条

Kaggle 数据挖掘比赛经验分享

Kaggle 于 2010 年创立,专注数据科学,机器学习竞赛的举办,是全球最大的数据科学社区和数据竞赛平台。笔者从 2013 年开始,陆续参加了多场 Kagg...

5129
来自专栏机器之心

学界 | 伯克利提出强化学习新方法,可让智能体同时学习多个解决方案

选自BAIR Blog 作者:Haoran Tang、Tuomas Haarnoja 机器之心编译 参与:Panda 强化学习可以帮助智能体自动找到任务的解决策...

2907

扫码关注云+社区