Jcseg分词器的实现详解

1.之前的项目一直都是用的ik分词器,但是最近的一个项目项目大佬说ik好像很长时间都没更新,版本太老旧,故而用了新的jcseg的分词器,于是也上网找了一些资料,学习了一下如何使用jcseg分词器。

2.http://www.docin.com/p-782941386.html这个是网上找到的Jcseg中文分词器开发说明文档

3.具体实现

在pom文件里面添加相关架包

<dependency> <groupId>org.lionsoul</groupId> <artifactId>jcseg-core</artifactId> <version>1.9.2</version> </dependency>

jcseg.properties 注意的是那个词典(lexicon)的目录,没有的可以去官网上下载。

# jcseg properties file. # bug report chenxin <chenxin619315@gmail.com>

# Jcseg function #maximum match length. (5-7) jcseg.maxlen=5

#recognized the chinese name.(1 to open and 0 to close it) jcseg.icnname=1

#maximum chinese word number of english chinese mixed word. jcseg.mixcnlen=2

#maximum length for pair punctuation text. jcseg.pptmaxlen=15

#maximum length for chinese last name andron. jcseg.cnmaxlnadron=1

#Wether to clear the stopwords.(set 1 to clear stopwords and 0 to close it) jcseg.clearstopword=0

#Wether to convert the chinese numeric to arabic number. (set to 1 open it and 0 to close it) # like '\u4E09\u4E07' to 30000. jcseg.cnnumtoarabic=1

#Wether to convert the chinese fraction to arabic fraction. jcseg.cnfratoarabic=1

#Wether to keep the unrecognized word. (set 1 to keep unrecognized word and 0 to clear it) jcseg.keepunregword=1

#Wether to start the secondary segmentation for the complex english words. jcseg.ensencondseg = 1

#min length of the secondary simple token. (better larger than 1) jcseg.stokenminlen = 2

#thrshold for chinese name recognize. # better not change it before you know what you are doing. jcseg.nsthreshold=1000000

#The punctuations that will be keep in an token.(Not the end of the token). jcseg.keeppunctuations=@%.&+ ####about the lexicon #prefix of lexicon file. lexicon.prefix=lex

#suffix of lexicon file. lexicon.suffix=lex

#abusolte path of the lexicon file. #Multiple path support from jcseg 1.9.2, use ';' to split different path. #example: lexicon.path = /home/chenxin/lex1;/home/chenxin/lex2 (Linux) #  : lexicon.path = D:/jcseg/lexicon/1;D:/jcseg/lexicon/2 (WinNT) #lexicon.path=C:/Users/admin/Downloads/jcseg-1.9.2/lexicon lexicon.path=D:/workspace/lexicon

#Wether to load the modified lexicon file auto. lexicon.autoload=0

#Poll time for auto load. (seconds) lexicon.polltime=120 ####lexicon load #Wether to load the part of speech of the entry. jcseg.loadpos=1

#Wether to load the pinyin of the entry. jcseg.loadpinyin=0

#Wether to load the synoyms words of the entry. jcseg.loadsyn=1

JcsegTools.java的代码

package com.iflytek.jcseg;

import java.io.IOException; import java.io.Serializable; import java.io.StringReader; import java.util.ArrayList; import java.util.HashSet; import java.util.List; import java.util.Set; import org.lionsoul.jcseg.core.ADictionary; import org.lionsoul.jcseg.core.DictionaryFactory; import org.lionsoul.jcseg.core.ISegment; import org.lionsoul.jcseg.core.IWord; import org.lionsoul.jcseg.core.JcsegException; import org.lionsoul.jcseg.core.JcsegTaskConfig; import org.lionsoul.jcseg.core.SegmentFactory;

public class JcsegTools implements Serializable {

 private static final long serialVersionUID = 1L;  private static JcsegTaskConfig config;

 ISegment seg = null;  private boolean inited;

 synchronized private void init() throws JcsegException {   JcsegTaskConfig config = new JcsegTaskConfig();   ADictionary dic = DictionaryFactory.createDefaultDictionary(config);

  for (String s : config.getLexiconPath()) {    System.out.println("->" + s);   }   seg = SegmentFactory.createJcseg(JcsegTaskConfig.COMPLEX_MODE,     new Object[] { config, dic });   inited = true;  }

 public List<String> segment(String fullText) throws IOException,    JcsegException {   if (!inited) {    init();   }   IWord word = null;   seg.reset(new StringReader(fullText));   List<String> ret = new ArrayList<String>();   Set<String> ml = new HashSet<String>();   while ((word = seg.next()) != null) {    if (word.getLength() < 2) {     continue; // 去掉长度小于2的词    }    ml.add(word.getValue());   }   ret.addAll(ml);   return ret;  }

 public static void main(String[] args) throws JcsegException, IOException {   String str = "3月22日,百度首席科学家吴恩达在多个社交平台发布公开信,宣布自己将从百度离职,对于未来的去向,他在推特上表示:未来将会推动大公司使用人工智能,并创造丰富的创业机会及进一步的人工智能研究。对于吴恩达的离职,百度官方也给予了祝福,并感谢其在百度任职期间做出的贡献。巧合的是,百度股价曾在2月的同一天大幅下跌,市值蒸发超200亿人民币,联想到今天的离职事件,个中缘由耐人寻味。"; //  List<String> list = JcsegTools.analyze(str); //  for (String word : list) { //   System.out.println(word); //  } //  System.out.println(list.size());   JcsegTools demo = new JcsegTools();   try {    List<String> strings=demo.segment(str);    for(int i=0;i<strings.size();i++){     System.out.println(strings.get(i));    }   } catch (IOException e) {    e.printStackTrace();   }  } }

结果截图:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏linux驱动个人学习

android 休眠唤醒机制分析(一) — wake_lock【转】

Android的休眠唤醒主要基于wake_lock机制,只要系统中存在任一有效的wake_lock,系统就不能进入深度休眠,但可以进行设备的浅度休眠操作。wak...

923
来自专栏Phoenix的Android之旅

Dagger2 Android应用:@Scope和@Subcomponent

这部分会介绍Dagger2中比较莫名的概念,同样也不涉及Android的具体代码。 Dagger2使用中的核心技巧包括@Subcomponent和@Scope,...

982
来自专栏Java3y

图书管理系统【部署开发环境、解决分类、图书、前台页面模块】

前言 巩固Servlet+JSP开发模式,做一个比较完整的小项目. 成果图 该项目包含了两个部分,前台和后台。 前台用于显示 ? 后台用于管理 ? 该项目可分为...

5454
来自专栏MasiMaro 的技术博文

windows 下文件的高级操作

本文主要说明在Windows下操作文件的高级方法,比如直接读写磁盘,文件的异步操作,而文件普通的读写方式在网上可以找到一大堆资料,在这也就不再进行专门的说明。

1753
来自专栏有趣的django

Django REST framework+Vue 打造生鲜超市(四)

五、商品列表页 5.1.django的view实现商品列表页 (1)goods/view_base.py 在goods文件夹下面新建view_base.py,为...

1.7K9
来自专栏我是攻城师

在Lucene或Solr中实现高亮的策略

3705
来自专栏lgp20151222

整理代码,将一些曾经用过的功能整合进一个spring-boot

由于本人的码云太多太乱了,于是决定一个一个的整合到一个springboot项目里面。

1673
来自专栏DT乱“码”

JSP+ajax+springMVC+MayBatis处理excel上传导入

jsp <div class="subtext1"> <div cla...

2419
来自专栏jeremy的技术点滴

mybatis-generator使用备忘

3414
来自专栏MasiMaro 的技术博文

枚举进程中的模块

在Windows中枚举进程中的模块主要是其中加载的dll,在VC上主要有2种方式,一种是解析PE文件中导入表,从导入表中获取它将要静态加载的dll,一种是利用查...

1322

扫码关注云+社区