文本挖掘系列文章2

声明

本文原创,转载需授权!

字符串、字符数组以及其他文本表示的处理库构成大部分文本处理程序的基础。大部分语言都包括基本的处理库,这也是对文本处理或自然语言处理的前期必要工作。典型代表便是分词、词性标注、句子识别等等。本文所介绍的工具主要针对英文分词,对于英文分词工具很多,笔者经比较Apache OpenNLP效率和使用便捷度较好。另外其针对Java开发提供开源的API。开篇简介OpenNLP的情况,随后介绍6种常用模型,最后针对每种模型的使用和Java实现进行总结。部分笔者可能质疑那么中文分词怎么办?随后篇章会单独介绍中科院研究团队基于隐马尔可夫模型开发的中文分词工具NLPIR(ICTCLA)。内容经过多篇文档和书籍整理汇编,代码经运行无误。

OpenNLP:驾驭文本,分词哪些事

1

OpenNLP其有哪些"内功"

维基百科&官方文档

维基百科:Apache OpenNLP库是一个基于机器学习的自然语言文本处理的开发工具包,它支持自然语言处理中一些共有的任务,例如:标记化、句子分割、词性标注、固有实体提取(指在句子中辨认出专有名词,例如:人名)、浅层分析(句字分块)、语法分析及指代。这些任务通常都需要较为先进的文字处理服务功能。

官方文档:Apache的OpenNLP库是自然语言文本的处理基于机器学习的工具包。它支持最常见的NLP任务,如断词,句子切分,部分词性标注,命名实体提取,分块,解析和指代消解。这些任务通常需要建立更先进的文字处理服务。OpenNLP还包括最大熵和基于感知机器学习。该OpenNLP项目的目标是创造上述任务的成熟工具包。一个附加的目的是提供一种大量预建模型为各种语言,以及这些模型衍生自注释文本资源。

  • 开发者: Apache Software Foundation
  • 稳定版本: 1.5.2-incubating(2011年11月28日,5年前)
  • 开发状态: Active
  • 编程语言: Java
  • 类型: 自然语言处理
  • 网站: http://incubator.apache.org/opennlp/

其支持Windows、linux等多个操作系统,本文主要介绍Windows下:

命令行界面

OpenNLP脚本使用JAVA_CMD和JAVA_HOME变量,以确定哪些命令用来执行Java虚拟机。OpenNLP脚本使用OPENNLP_HOME变量来确定OpenNLP的二进制分发的位置。建议这个变量指向当前OpenNLP版本和更新PATH变量的二进制分发版包括$OPENNLP_HOME/bin or %OPENNLP_HOME%\bin。这样的配置允许方便调用OpenNLP。下面的例子假设这个配置已经完成。使用如下:当工具被执行这种方式,模型是装载和工具正在等待来自标准输入的输入。此输入处理,并打印到标准输出。

Java控制台

进行其API的调用,以下代码演示均采用此法。

  • 官网(http://mirrors.hust.edu.cn/apache/opennlp/):apache-opennlp-1.5.3工具包
  • 解压文件:(如:savepath\apache-opennlp-1.5.3\lib)将lib下文件拷贝项目中
  • 去官网模型页面下载bin文件,下载需要的模型,具体如下:
  • 创建java程序做相应处理,诸如:分词、词性标注等。

示例

至此完成java配置,然后相对 "The quick, red fox jumped over the lazy, brown dogs." 一条句子进行分词,常规方法采用空格分词代码如下:

//英文切词:空格或者换行符
public static void ENSplit(String str)
{
    String[] result=str.split("\\s+");
    for(String s:result){
        System.out.println(s+" ");
    }
    System.out.println();
}

分词结果:

随着需求的改变,假如我想把标点也分开。实际这也是有意义的,可以通过标点确定句子的边界。下面OpenNLP将采用其方式完成,由此引入本文正题。

2

句子探测器

功能介绍:

  1. 句子检测器是用于检测句子边界。
  2. 句子探测器返回一个字符串数组。

API:句子探测器还提供了一个API来培养一个新的句子检测模型。三个基本步骤是必要的训练它:

  • 应用程序必须打开一个示例数据流
  • 调用SentenceDetectorME.train方法
  • 保存SentenceModel到文件或直接使用它

代码实现:

/**
 * 1.句子探测器:Sentence Detector
 * @deprecated Sentence detector is for detecting sentence boundaries. Given the following paragraph:
 * Hi. How are you? This is Mike.
 * 如:Hi. How are you? This is Mike.将返回如下:
 * Hi. How are you?
 * This is Mike.
 * @throws IOException
 * @throws InvalidFormatException
 */
public static void SentenceDetector(String str) throws InvalidFormatException, IOException
{
    //always start with a model, a model is learned from training data
    InputStream is = new FileInputStream("./nlpbin/en-sent.bin");
    SentenceModel model = new SentenceModel(is);
    SentenceDetectorME sdetector = new SentenceDetectorME(model);
  
    String sentences[] = sdetector.sentDetect(str);
  
    System.out.println(sentences[0]);
    System.out.println(sentences[1]);
    is.close();
    System.out.println("---------------1------------");
}

结果:

3

标记生成器

功能介绍:该OpenNLP断词段输入字符序列为标记。常是这是由空格分隔的单词,但也有例外。例如"isn't"被分割为'is'与“n't",因为它是AA简要格式”isn't“我们的句子分为以下标记:符号通常是词语,标点符号,数字等OpenNLP提供多种标记生成器的实现:

  • 空白标记生成器 - 一个空白标记生成器,非空白序列被确定为符号
  • 简单的标记生成器 - 一个字符类标记生成器,同样的字符类的序列标记
  • 可学习标记生成器 - 一个最大熵标记生成器,检测基于概率模型符号边界

API:的断词可以被集成到由定义的API的应用程序。该WhitespaceTokenizer的共享实例可以从静态字段WhitespaceTokenizer.INSTANCE进行检索。该SimpleTokenizer的共享实例可以在从SimpleTokenizer.INSTANCE相同的方式进行检索。实例化TokenizerME(中可以学习标记生成器)符号模型必须先创建。

代码实现:

* 2.标记生成器:Tokenizer
 * @deprecated Tokens are usually words which are separated by space, but there are exceptions.  For example, "isn't" gets split into "is" and "n't, since it is a a brief format of "is not". Our sentence is separated into the following tokens:
 * @param str
 */
public static void Tokenize(String str) throws InvalidFormatException, IOException {
    InputStream is = new FileInputStream("./nlpbin/en-token.bin");
    TokenizerModel model = new TokenizerModel(is);
    Tokenizer tokenizer = new TokenizerME(model);
    String tokens[] = tokenizer.tokenize(str);
    for (String a : tokens)
        System.out.println(a);
    is.close();
    System.out.println("--------------2-------------");
}

运行结果:

4

名称搜索

功能介绍:名称查找器可检测文本命名实体和数字。为了能够检测实体名称搜索需要的模型。该模型是依赖于语言和实体类型这是训练。所述OpenNLP项目提供了许多这些各种免费提供的语料库训练有素预训练名取景模式。他们可以在我们的模型下载页进行下载。要查找原始文本的文本必须分割成符号和句子的名字。详细描述中的一句话探测器和标记生成器教程中给出。其重要的,对于训练数据和输入的文本的标记化是相同的。根据不同的模型可以查找人名、地名等实体名。

API:从应用程序中训练名字发现者的建议使用培训API而不是命令行工具。三个基本步骤是必要的训练它:

  • 应用程序必须打开一个示例数据流
  • 调用NameFinderME.train方法
  • 保存TokenNameFinderModel到文件或数据库

代码实现:

/**
 * 3.名称搜索:Name Finder
 * @deprecated By its name, name finder just finds names in the context. Check out the following example to see what name finder can do. It accepts an array of strings, and find the names inside.
 * @param str
 */
public static void findName() throws IOException {
    InputStream is = new FileInputStream("./nlpbin/en-ner-person.bin");
    TokenNameFinderModel model = new TokenNameFinderModel(is);
    is.close();
    NameFinderME nameFinder = new NameFinderME(model);
    String[] sentence = new String[]{
            "Mike",
            "Tom",
            "Smith",
            "is",
            "a",
            "good",
            "person"
            };
    Span nameSpans[] = nameFinder.find(sentence);
    for(Span s: nameSpans)
        System.out.println(s.toString());  
    System.out.println("--------------3-------------");
}

运行结果:

5

POS标注器

功能介绍:语音标记器的部分标记符号与基于符号本身和符号的上下文中它们的相应字类型。符号可能取决于符号和上下文使用多个POS标签。该OpenNLP POS标注器使用的概率模型来预测正确的POS标记出了标签组。为了限制可能的标记的符号标记字典可以使用这增加了捉人者的标记和运行时性能。

API:部分的词类打标签训练API支持一个新的POS模式的培训。三个基本步骤是必要的训练它:

  • 应用程序必须打开一个示例数据流
  • 调用POSTagger.train方法
  • 保存POSModel到文件或数据库

代码实现:

/**
 * 4.POS标注器:POS Tagger
 * @deprecated Hi._NNP How_WRB are_VBP you?_JJ This_DT is_VBZ Mike._NNP
 * @param str
 */
public static void POSTag(String str) throws IOException {
    POSModel model = new POSModelLoader().load(new File("./nlpbin/en-pos-maxent.bin"));
    PerformanceMonitor perfMon = new PerformanceMonitor(System.err, "sent");//显示加载时间
    POSTaggerME tagger = new POSTaggerME(model);
    ObjectStreamlineStream = new PlainTextByLineStream(new StringReader(str));
    perfMon.start();
    String line;
    while ((line = lineStream.read()) != null) {
        String whitespaceTokenizerLine[] = WhitespaceTokenizer.INSTANCE.tokenize(line);
        String[] tags = tagger.tag(whitespaceTokenizerLine);
        POSSample sample = new POSSample(whitespaceTokenizerLine, tags);
        System.out.println(sample.toString());
        perfMon.incrementCounter();
    }
    perfMon.stopAndPrintFinalResult();
    System.out.println("--------------4-------------");
}

运行结果

6

细节化

功能介绍:文本分块由除以单词句法相关部分,如名词基,动词基的文字,但没有指定其内部结构,也没有其在主句作用。

API:该概括化提供了一个API来培养新的概括化的模式。下面的示例代码演示了如何做到这一点:

代码实现:

/**
 * 5.序列标注:Chunker
 * @deprecated 通过使用标记生成器生成的tokens分为一个句子划分为一组块。What chunker does is to partition a sentence to a set of chunks by using the tokens generated by tokenizer.
 * @param str
 */
public static void chunk(String str) throws IOException {
    POSModel model = new POSModelLoader().load(new File("./nlpbin/en-pos-maxent.bin"));
    //PerformanceMonitor perfMon = new PerformanceMonitor(System.err, "sent");
    POSTaggerME tagger = new POSTaggerME(model);
    ObjectStreamlineStream = new PlainTextByLineStream(new StringReader(str));
    //perfMon.start();
    String line;
    String whitespaceTokenizerLine[] = null;
    String[] tags = null;
    while ((line = lineStream.read()) != null) {
        whitespaceTokenizerLine = WhitespaceTokenizer.INSTANCE.tokenize(line);
        tags = tagger.tag(whitespaceTokenizerLine);
        POSSample sample = new POSSample(whitespaceTokenizerLine, tags);
        System.out.println(sample.toString());
            //perfMon.incrementCounter();
    }
    //perfMon.stopAndPrintFinalResult();
     
    // chunker
    InputStream is = new FileInputStream("./nlpbin/en-chunker.bin");
    ChunkerModel cModel = new ChunkerModel(is);
    ChunkerME chunkerME = new ChunkerME(cModel);
    String result[] = chunkerME.chunk(whitespaceTokenizerLine, tags);
    for (String s : result)
        System.out.println(s);
    Span[] span = chunkerME.chunkAsSpans(whitespaceTokenizerLine, tags);
    for (Span s : span)
        System.out.println(s.toString());
    System.out.println("--------------5-------------");
}

运行效果:

7

分析器

功能介绍:文本分块由除以单词句法相关部分,如名词基,动词基的文字,但没有指定其内部结构,也没有其在主句作用。

API:该概括化提供了一个API来培养新的概括化的模式。下面的示例代码演示了如何做到这一点:

代码实现:

/**
 * 6.分析器: Parser
 * @deprecated Given this sentence: "Programcreek is a very huge and useful website.", parser can return the following:
 * (TOP (S (NP (NN Programcreek) ) (VP (VBZ is) (NP (DT a) (ADJP (RB very) (JJ huge) (CC and) (JJ useful) ) ) ) (. website.) ) )
 * (TOP
 *     (S
 *        (NP
 *           (NN Programcreek)
 *        )
 *        (VP
 *           (VBZ is)
 *           (NP
 *              (DT a)
 *              (ADJP
 *                   (RB very)
 *                   (JJ huge)
 *                   (CC and)
 *                   (JJ userful)
 *              )
 *           )
 *        )
 *        (. website.)
 *     )
 * )
 * @param str
 */
public static void Parse() throws InvalidFormatException, IOException {
    // http://sourceforge.net/apps/mediawiki/opennlp/index.php?title=Parser#Training_Tool
    InputStream is = new FileInputStream("./nlpbin/en-parser-chunking.bin");
    ParserModel model = new ParserModel(is);
    Parser parser = ParserFactory.create(model);
    String sentence = "Programcreek is a very huge and useful website.";
    opennlp.tools.parser.Parse topParses[] = ParserTool.parseLine(sentence, parser, 1);
    for (opennlp.tools.parser.Parse p : topParses)
        p.show();
    is.close();
}

运行效果:

8

参考文献

  1. 统计自然语言处理基础 (166—169) 宛春法等译
  2. 驾驭文本第二章第二节
  3. 维基百科:OpenNLP
  4. 官方教程Apache OpenNLP Developer Documentation
  5. Apache Tika:通用的内容分析工具
  6. 五分钟solr4.8教程(搭建、运行)
  7. 初级教程(介绍、安装部署、接口、中文分词)

文末:文章来源机器学习和自然语言处理(ID:datathinks),作者:机器学习和自然语言处理。本公众号旨在技术传播与分享,未经授权不能转载发布。

本文分享自微信公众号 - 机器学习和自然语言处理(datathinks)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-10-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏码匠的流水账

使用opennlp自定义命名实体

opennlp的自定义命名实体的标注,给以了一定定制空间,方便开发者定制各自领域特殊的命名实体,以提高特定命名实体分词的准确性。

26810
来自专栏人工智能LeadAI

用TensorFlow的Linear/DNNRegrressor预测数据

今天要处理的问题对于一个只学了线性回归的机器学习初学者来说还是比较棘手——通过已知的几组数据预测一组数据。用excel看了下,关系不是很明显,平方,log都不是...

12610
来自专栏杨熹的专栏

几种简单的文本数据预处理方法

本文将介绍几种简单的文本数据预处理方法,希望与大家共同学习分享。

34240
来自专栏腾讯移动品质中心TMQ的专栏

MBT探索系列 - PRE/POST 模型在网络接口测试MBT的应用和探索

目录 ⊙MBT 是什么? ⊙PRE/POST 模型是什么? ⊙如何建立PRE/POST模型? ⊙OCL是什么? ⊙OCL怎么建立PRE/POST模型? ⊙PRE...

44180
来自专栏大数据

不规范数据处理?字符串中所有数值汇总求和

感 谢 感谢每一个朋友的关注与支持,感谢所有的不离不弃,一路同行! 关 注 导读 我们在工作中偶尔会遇到一些不规范的数据,而且因为工作的需要我们还需要对这些不规...

22260
来自专栏小樱的经验随笔

从入门到精通之Boyer-Moore字符串搜索算法详解

本文讲述的是Boyer-Moore算法,Boyer-Moore算法作为字符串搜索算法,兴趣之下就想了解这个算法,发现这个算法一开始还挺难理解的,也许是我理解能力...

45080
来自专栏人工智能LeadAI

tensorflow的数据输入

tensorflow有两种数据输入方法,比较简单的一种是使用feed_dict,这种方法在画graph的时候使用placeholder来站位,在真正run的时候...

14450
来自专栏瓜大三哥

直方图操作(二)

直方图操作(二)之统计电路 在实际的图像中,连续的像素点灰度值为相同值的情况非常常见,如果每来一个像素都对双口RAM进行一次寻址和写操作,显然降低了统计效率而提...

22070
来自专栏吉浦迅科技

DAY15:阅读CUDA C runtime之纹理内存

16230
来自专栏互联网大杂烩

String.hashcode 源码分析

接触编程这么久了,一直会遇到某些高频词,例如,哈希。hashtable,hashmap,hashset等等等。都有hash一次。那什么是哈希值呢?百度本科解释是...

10440

扫码关注云+社区

领取腾讯云代金券