文本相似度——自己实现文本相似度算法(余弦定理)

最近由于工作项目,需要判断两个txt文本是否相似,于是开始在网上找资料研究,因为在程序中会把文本转换成String再做比较,所以最开始找到了这篇关于 距离编辑算法 Blog写的非常好,受益匪浅。

       于是我决定把它用到项目中,来判断两个文本的相似度。但后来实际操作发现有一些问题:直接说就是查询一本书中的相似章节花了我7、8分钟;这是我不能接受……

       于是停下来仔细分析发现,这种算法在此项目中不是特别适用,由于要判断一本书中是否有相同章节,所以每两个章节之间都要比较,若一本书书有x章的话,这 里需对比x(x-1)/2次;而此算法采用矩阵的方式,计算两个字符串之间的变化步骤,会遍历两个文本中的每一个字符两两比较,可以推断出时间复杂度至少 为 document1.length × document2.length,我所比较的章节字数平均在几千~一万字;这样计算实在要了老命。

       想到Lucene中的评分机制,也是算一个相似度的问题,不过它采用的是计算向量间的夹角(余弦公式),在google黑板报中的:数学之美(余弦定理和新闻分类) 也有说明,可以通过余弦定理来判断相似度;于是决定自己动手试试。

       首相选择向量的模型:在以字为向量还是以词为向量的问题上,纠结了一会;后来还是觉得用字,虽然词更为准确,但分词却需要增加额外的复杂度,并且此项目要求速度,准确率可以放低,于是还是选择字为向量。

       然后每个字在章节中出现的次数,便是以此字向量的值。现在我们假设:

       章节1中出现的字为:Z1c1,Z1c2,Z1c3,Z1c4……Z1cn;它们在章节中的个数为:Z1n1,Z1n2,Z1n3……Z1nm;

       章节2中出现的字为:Z2c1,Z2c2,Z2c3,Z2c4……Z2cn;它们在章节中的个数为:Z2n1,Z2n2,Z2n3……Z2nm;

       其中,Z1c1和Z2c1表示两个文本中同一个字,Z1n1和Z2n1是它们分别对应的个数,

       最后我们的相似度可以这么计算:

       程序实现如下:(若有可优化或更好的实现请不吝赐教)

 1 public class CosineSimilarAlgorithm {
 2     public static double getSimilarity(String doc1, String doc2) {
 3         if (doc1 != null && doc1.trim().length() > 0 && doc2 != null
 4                 && doc2.trim().length() > 0) {
 5             
 6             Map<Integer, int[]> AlgorithmMap = new HashMap<Integer, int[]>();
 7             
 8             //将两个字符串中的中文字符以及出现的总数封装到,AlgorithmMap中
 9             for (int i = 0; i < doc1.length(); i++) {
10                 char d1 = doc1.charAt(i);
11                 if(isHanZi(d1)){
12                     int charIndex = getGB2312Id(d1);
13                     if(charIndex != -1){
14                         int[] fq = AlgorithmMap.get(charIndex);
15                         if(fq != null && fq.length == 2){
16                             fq[0]++;
17                         }else {
18                             fq = new int[2];
19                             fq[0] = 1;
20                             fq[1] = 0;
21                             AlgorithmMap.put(charIndex, fq);
22                         }
23                     }
24                 }
25             }
26 
27             for (int i = 0; i < doc2.length(); i++) {
28                 char d2 = doc2.charAt(i);
29                 if(isHanZi(d2)){
30                     int charIndex = getGB2312Id(d2);
31                     if(charIndex != -1){
32                         int[] fq = AlgorithmMap.get(charIndex);
33                         if(fq != null && fq.length == 2){
34                             fq[1]++;
35                         }else {
36                             fq = new int[2];
37                             fq[0] = 0;
38                             fq[1] = 1;
39                             AlgorithmMap.put(charIndex, fq);
40                         }
41                     }
42                 }
43             }
44             
45             Iterator<Integer> iterator = AlgorithmMap.keySet().iterator();
46             double sqdoc1 = 0;
47             double sqdoc2 = 0;
48             double denominator = 0; 
49             while(iterator.hasNext()){
50                 int[] c = AlgorithmMap.get(iterator.next());
51                 denominator += c[0]*c[1];
52                 sqdoc1 += c[0]*c[0];
53                 sqdoc2 += c[1]*c[1];
54             }
55             
56             return denominator / Math.sqrt(sqdoc1*sqdoc2);
57         } else {
58             throw new NullPointerException(
59                     " the Document is null or have not cahrs!!");
60         }
61     }
62 
63     public static boolean isHanZi(char ch) {
64         // 判断是否汉字
65         return (ch >= 0x4E00 && ch <= 0x9FA5);
66 
67     }
68 
69     /**
70      * 根据输入的Unicode字符,获取它的GB2312编码或者ascii编码,
71      * 
72      * @param ch
73      *            输入的GB2312中文字符或者ASCII字符(128个)
74      * @return ch在GB2312中的位置,-1表示该字符不认识
75      */
76     public static short getGB2312Id(char ch) {
77         try {
78             byte[] buffer = Character.toString(ch).getBytes("GB2312");
79             if (buffer.length != 2) {
80                 // 正常情况下buffer应该是两个字节,否则说明ch不属于GB2312编码,故返回'?',此时说明不认识该字符
81                 return -1;
82             }
83             int b0 = (int) (buffer[0] & 0x0FF) - 161; // 编码从A1开始,因此减去0xA1=161
84             int b1 = (int) (buffer[1] & 0x0FF) - 161; // 第一个字符和最后一个字符没有汉字,因此每个区只收16*6-2=94个汉字
85             return (short) (b0 * 94 + b1);
86         } catch (UnsupportedEncodingException e) {
87             e.printStackTrace();
88         }
89         return -1;
90     }
91 }

       程序中做了两小的改进,以加快效率:

       1. 只将汉字作为向量,其他的如标点,数字等符号不处理;2. 在HashMap中存放汉字和其在文本中对于的个数时,先将单个汉字通过GB2312编码转换成数字,再存放。

       最后写了个测试,根据两种不同的算法对比下时间,下面是测试结果:

       余弦定理算法:doc1 与 doc2 相似度为:0.9954971, 耗时:22mm

       距离编辑算法:doc1 与 doc2 相似度为:0.99425095, 耗时:322mm

       可见效率有明显提高,算法复杂度大致为:document1.length + document2.length。

       原创blog,转载请注明http://my.oschina.net/BreathL/blog/42477

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏潇涧技术专栏

Python Algorithms - C5 Traversal

Traversal就是遍历,主要是对图的遍历,也就是遍历图中的每个节点。对一个节点的遍历有两个阶段,首先是发现(discover),然后是访问(visit)。遍...

10210
来自专栏take time, save time

你所能用到的无损压缩编码(二)

     上个月项目荷兰大佬要检查,搞的我想写的东西不断推迟,现在检查完了,我决定继续把我想写的这整个一个系列写完,上一次写的是最简单的无损编码行程编码,这一次...

37590
来自专栏沈唁志

PHP使用递归算法查找子集获取无限极分类等实操

递归函数是我们常用到的一类函数,最基本的特点是在函数或子过程的内部,直接或者间接地调用自己的算法,但必须在调用自身前有条件判断,否则无限调用下去,也就是所谓的死...

26030
来自专栏小樱的经验随笔

零基础学并查集算法

并查集是我暑假从高手那里学到的一招,觉得真是太精妙的设计了。以前我无法解决的一类问题竟然可以用如此简单高效的方法搞定。不分享出来真是对不起party了。(pa...

56380
来自专栏数据小魔方

sparklines迷你图系列15——Composition(BoxPlot)

今天要跟大家分享的是sparklines迷你图系列14——BoxPlot。 箱线图是用于呈现数据分布形态(功能类似直方图)的一种图表,对于连续型数据,箱线图可以...

30840
来自专栏简书专栏

基于python的冒泡排序和选择排序

装饰器是python的高级用法,初学者需要单独学习1天才能理解并且熟练运用。 读者如果不理解本节内容,不影响后续内容的理解。 此装饰器只是计算函数运行花费的...

12040
来自专栏灯塔大数据

解密 | 一文总结学习 Python 的 14 张思维导图

前言 本文主要涵盖了 Python 编程的核心知识(暂不包括标准库及第三方库,后续会发布相应专题的文章)。 首先,按顺序依次展示了以下内容的一系列思维导图:基础...

36670
来自专栏数据小魔方

IF函数——放松工作,享受生活!

今天跟大家分享一个简单却实用、高效的逻辑函数——IF函数。 ▼ IF函数可以简化很多我们数据处理过程中的重复性操作工作,让我们的工作效率大大提高。今天通过两个例...

33250
来自专栏祝威廉

如何在Java应用里集成Spark MLlib训练好的模型做预测

昨天媛媛说,你是不是很久没写博客了。我说上一篇1.26号,昨天3.26号,刚好两个月,心中也略微有些愧疚。今天正好有个好朋友问,怎么在Java应用里集成Spar...

17630
来自专栏机器学习算法与Python学习

机器学习(31)之频繁集挖掘FP Tree详解

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 明早7:22推送第2期免费送书活动 ...

43360

扫码关注云+社区

领取腾讯云代金券