JieBa使用
List<SegToken> process = segmenter.process("今天早上,出门的的时候,天气很好", JiebaSegmenter.SegMode.INDEX);
for (SegToken token:process){
//分词的结果
System.out.println( token.word);
}
复制代码
输出内容如下
今天
早上
,
出门
的
的
时候
,
天气
很
好
复制代码
可以看到核心在于
可以看到核心在于
比如输入的是 "今天早上"
它的DAG展示如下
也就是说 "今天早上" 这个句子,在trie中能查到的词为
今/今天/早/早上/上
复制代码
JieBa内部存储了一个文件dict.txt,比如记录了 X光线 3 n
。在内部的存储trie树结构则为
比如除了x光线之外,还有x射
storeSize <=ARRAY_LENGTH_LIMIT ,使用数组存储, storeSize >ARRAY_LENGTH_LIMIT,则使用Map存储 ,取值为3
核心代码如下
for (int i = N - 1; i > -1; i--) {
//从右往左去查看句子,这是因为中文的重点一般在后面
//表示词的开始位置
Pair<Integer> candidate = null;
for (Integer x : dag.get(i)) {
//x表示词的结束位置
// wordDict.getFreq表示获取trie这个词的频率
//route.get(x+1)表示当前词的后一个词的概率
//由于频率本身存储的是数学上log计算后的值,这里的加法其实就是当前这个词为A并且后面紧跟着的词为B的概率,B已经由前面算出
double freq = wordDict.getFreq(sentence.substring(i, x + 1)) + route.get(x + 1).freq;
if (null == candidate) {
candidate = new Pair<Integer>(x, freq);
}
else if (candidate.freq < freq) {
//保存概率高的词
candidate.freq = freq;
candidate.key = x;
}
}
//可见route中存储的数据为key:词头下标 value:词尾下标,词的频率
route.put(i, candidate);
}
复制代码
高频词选取过程:
依此类推,经过route之后的取词如下
取完了高频词之后,核心逻辑如下
while (x < N) {
//获取当前字符开头的词的词尾
y = route.get(x).key + 1;
String lWord = sentence.substring(x, y);
if (y - x == 1)
sb.append(lWord); //单个字符成词,先保留
else {
if (sb.length() > 0) {
buf = sb.toString();
sb = new StringBuilder();
if (buf.length() == 1) {
tokens.add(buf);
}
else {
if (wordDict.containsWord(buf)) {
tokens.add(buf); //多个字符并且字典中存在,作为分词的结果
}
else {
finalSeg.cut(buf, tokens);
}
}
}
//保留多个字符组成的词
tokens.add(lWord);
}
x = y; //从当前词的词尾开始找下一个词
}
复制代码
词提取的过程
至此 '今天早上' 这句话分词结束。可以看到这都是建立在这个词已经存在于字典的基础上成立的。
如果出现了多个单个字成词的情况,比如 '出门的的时候' 中的 '的',一方面它成为了单个的词,另一方面后面紧跟着的 '的'与它一起成为了两个字符组成的词,又在词典中不存在 '的的' ,因而识别为未知的词,调用 finalSeg.cut
使用的方法为Viterbi算法。首先预加载如下HMM模型的三组概率集合和隐藏状态集合
红框表示 隐藏状态 'E'的前提下,观察状态是 '要'的概率为 -5.26
红框表示 隐藏状态 'B'的前提下,观察状态是 '要'的概率为 -6.73
另外它预定义了每个隐藏状态之前只能是那些状态 prevStatus.put('B', new char[] { 'E', 'S' }); prevStatus.put('M', new char[] { 'M', 'B' }); prevStatus.put('S', new char[] { 'S', 'E' }); prevStatus.put('E', new char[] { 'B', 'M' }); 复制代码 比如 'M' 它的前面必定是 'M' 和 'B' 之间的一个
算法的流程如下:
for (int i = 1; i < sentence.length(); ++i) {
Map<Character, Double> vv = new HashMap<Character, Double>();
v.add(vv);
Map<Character, Node> newPath = new HashMap<Character, Node>();
for (char y : states) {
//y表示隐藏状态
//emp是获取混淆矩阵的概率,比如 在 'B'发生的情况下,观察到字符 '要' 的概率
Double emp = emit.get(y).get(sentence.charAt(i));
if (emp == null)
emp = MIN_FLOAT; //样本中没有,就设置为最小的概率
Pair<Character> candidate = null;
for (char y0 : prevStatus.get(y)) {
Double tranp = trans.get(y0).get(y);//获取状态转移概率,比如 E -> B
if (null == tranp)
tranp = MIN_FLOAT; //转移概率不存在,取最低的
//v中放的是当前字符的前一个字符的概率,即前一个状态的最优解
//tranp 是状态转移的概率
//三者相加即计算已知观察序列和HMM的条件下,求得最可能的隐藏序列的概率
tranp += (emp + v.get(i - 1).get(y0));
if (null == candidate)
candidate = new Pair<Character>(y0, tranp);
else if (candidate.freq <= tranp) {
//存储最优可能的隐藏概率
candidate.freq = tranp;
candidate.key = y0;
}
}
//存储是'B'还是 'E'各自的概率
vv.put(y, candidate.freq);
//记下前后两个词最优的路径,以便还原原始的隐藏状态分隔点
newPath.put(y, new Node(y, path.get(candidate.key)));
}
//存储最终句子的最优路径
path = newPath;
}
复制代码
int begin = 0, next = 0;
for (int i = 0; i < sentence.length(); ++i) {
char pos = posList.get(i);
if (pos == 'B')
begin = i;
else if (pos == 'E') {
//到词尾了,记下
tokens.add(sentence.substring(begin, i + 1));
next = i + 1;
}
else if (pos == 'S') {
//单个字成词,记下
tokens.add(sentence.substring(i, i + 1));
next = i + 1;
}
}
if (next < sentence.length())
tokens.add(sentence.substring(next));
复制代码
自此执行结束