跟我一起云计算(4)——lucene

了解lucene的基本概念

这一部分可以参考我以前写的博客:

http://www.cnblogs.com/skyme/tag/lucene/

lucene是什么

下图是一个很好的说明:

1、lucene是构建索引、查询、高亮、拼写检查的类库。

2、它不是一个爬虫。

3、不提供分布式的索引。

lucene全文搜索处理流程

lucene的索引和查询

这是用4.6版本构建的lucene构建索引和查询的示例:

public static void main(String[] args) throws IOException, ParseException {
        // 一、创建索引
        // 内存索引模板
        Directory dir = new RAMDirectory();
        Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_46);

        IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_46,
                analyzer);
        IndexWriter indexWriter = new IndexWriter(dir, config);

        Document doc = new Document();
        String title = "标题";
        String content = "被索引的内容";
        Field f1 = new Field("title", title, TextField.TYPE_STORED);
        Field f2 = new Field("content", content, TextField.TYPE_STORED);
        doc.add(f1);
        doc.add(f2);

        indexWriter.addDocument(doc);
        indexWriter.close();

        // 二、搜索
        DirectoryReader directoryReader = DirectoryReader.open(dir);
        IndexSearcher indexSearcher = new IndexSearcher(directoryReader);

        QueryParser parser = new QueryParser(Version.LUCENE_46, "content",
                analyzer);
        Query query = parser.parse("内容");

        TopDocs topDocs = indexSearcher.search(query, null, 100);
        ScoreDoc[] hits = topDocs.scoreDocs;

        System.out.println("查询结果数:" + hits.length);

        for (int n = 0; n < hits.length; n++) {
            Document hitDoc = indexSearcher.doc(hits[n].doc);
            System.out.println("搜索的结果title:" + hitDoc.get("title"));
        }
    }

上面是一个简单的在内存中构建索引并且进行查询的例子。

然后看一下lucene索引用到的类:

再看一下查询用到的类:

理解索引过程

索引的过程可以简述为:

lucene加权

这部分内容可以参考:

http://www.cnblogs.com/hongten/archive/2013/02/01/hongten_lucene_baidu.html

Directory子类

FSDirectory

FSDirectory是Lucene对文件系统的操作,它有下面三个子类SimpleFSDirectory、MmapDirectory、NIOFSDirectory;

FSDirectory是一个抽象类,具体实现由子类来完成。

1、SimpleFSDirectory

最简单的FSDirectory子类,使用java.io.*API将文件存入文件系统中,不能很好支持多线程操作。因为要做到这点就必须在内部加入锁,而java.io.*并不支持按位置读取。

2、NIOFSDirectory

使用java.io.*API所提供的位置读取接口,能很好的支持除Windows之外的多线程操作,原因是Sun的JRE在Windows平台上长期存在问题。

   NIOFSDirectory在Windows操作系统的性能比较差,甚至可能比SimpleFSDirecory的性能还差。

3、MmapDirectory

使用内存映射的I/O接口进行读操作,这样不需要采取锁机制,并能很好的支持多线程读操作。但由于内存映射的I/O所消耗的地址空间是与索引尺寸相等,所以建议最好只是用64位JRE。

QueryParser

queryparser的解析过程:

1、使用queryparser完成解析搜索请求

2、基本格式如:

QueryParser parser=new QueryParser("字段名称","分析器实例");

Query q=parser.parse("关键词")

3、例如:解析一个关键字太阳

QueryParser parser=new QueryParser("context",new StandardAnalyzer());

Query q=parser.parse("太阳");

IndexSearcher searcher=new IndexSearcher(indexpath);

Hits hit=searcher.search(q);

4、解析多个关键字太阳、月亮

QueryParser parser=new QueryParser("context",new StandardAnalyzer());

Query q=parser.parse("太阳 月亮");

IndexSearcher searcher=new IndexSearcher(indexpath);

Hits hit=searcher.search(q);

4、带参数的多个关键字解析

QueryParser parser=new QueryParser("context",new StandardAnalyzer());

Query q=parser.parse("太阳 月亮");

parser.setDefaultOperator(QueryParser.Opertator.AND);//同时含有多个关键字,如果是QueryParser.Opertator.OR表示或者

IndexSearcher searcher=new IndexSearcher(indexpath);

Hits hit=searcher.search(q);

IndexSearcher

下图是搜索用到的相关的类:

lucene的扩展工程

1、solr

Solr是一个高性能,采用Java5开发,基于Lucene的全文搜索服务器。文档通过Http利用XML加到一个搜索集合中。查询该集合也是通过 http收到一个XML/JSON响应来实现。它的主要特性包括:高效、灵活的缓存功能,垂直搜索功能,高亮显示搜索结果,通过索引复制来提高可用性,提供一套强大Data Schema来定义字段,类型和设置文本分析,提供基于Web的管理界面等。

2、ElasticSearch

ElasticSearch是一个基于Lucene构建的开源,分布式,RESTful搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。支持通过HTTP使用JSON进行数据索引。

3、IndexTank

IndexTank是一套基于Java的索引-实时全文搜索引擎实现,它的设计分离了相关性标记和文档内容,因为相关性标记的生命周期和文档本身是不一样的,特别是在用户创建的内容的情况下,例如分享次数,Like按钮,+1按钮等等。

4、Katta

Katta是一个可扩展的、故障容错的、分布式实施访问的数据存储。

Katta可用于大量、重复、索引的碎片,以满足高负荷和巨大的数据集。这些索引可以是不同的类型。当前该实现在Lucene和Hadoop mapfiles。

5、bobo-browse

bobo-browse是一用java写的lucene扩展组件,通过它可以很方便在lucene上实现分组统计功能。

比如说搜索电脑,可以得到cpu是intel的有几条命中记录,cpu是amd的有几条命中记录。

6、Compass

Compass是一个强大的,事务的,高性能的对象/搜索引擎映射(OSEM:object/search engine mapping)与一个Java持久层框架。Compass包括:

  • 搜索引擎抽象层(使用Lucene搜索引荐),
  • OSEM(Object/Search Engine Mapping)支持,
  • 事务管理,
  • 类似于Google的简单关键字查询语言,
  • 可扩展与模块化的框架,
  • 简单的API

7、Summa

Summa是一种由java开发的,快速模块化和可扩展的搜索引擎。Summa有如下特点:

  • 综合搜索Summa能够同时访问许多不同的数据和资料来源,并以一个统一的接口公开
  • 模块化设计Summa搜索系统由一系列独立模块组成,这样使得它更简单容易地被维护和升级
  • 可扩展性Summa支持分布式架构而且能够按比例的扩大或缩小以处理任何数量的数据
  • 开放标准Summa基于现代web技术与标准,不包含任何私有代码或原理
  • 故障容错如果某单一数据资源或服务出错,Summa将会继续运行而不受出错部分限制

8、Constellio

Constellio是一个开源的搜索解决方案,适合企业级的搜索。基于Apache Solr项目构建,使用Lucene做为搜索引擎,并提供基于Web的网页和文档的检索。可选择文档类型、文件夹以及文件名进行检索。

应用

下面给出一个我们实际过程中的使用模型,用于比对系统中的类目关系:

上图中的匹配过滤功能使用lucene完成。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Kubernetes

原 荐 从一次集群雪崩看Kubelet资源预

Author: xidianwangtao@gmail.com Kubelet Node Allocatable Kubelet Node Allocat...

776100
来自专栏散尽浮华

分布式监控系统Zabbix-3.0.3--短信报警设置

前面已分别介绍了zabbix的邮件、微信报警设置,这些都是手机在有网络时才能收到报警信息,那如果手机没有网的情况下怎么办,这就需要考虑使用短信接口报警了。当服务...

49680
来自专栏大内老A

[WCF安全系列]实例演示:TLS/SSL在WCF中的应用[HTTPS]

上一篇演示的是绑定类型为NetTcpBinding情况下基于TLS/SSL的Transport安全模式的实现,接下来我们改用另外一种绑定:WS2007HttpB...

30580
来自专栏北京马哥教育

为什么你的服务器总被入侵?SSH密码暴力破解实战

运维行业正在变革,推荐阅读:30万年薪Linux运维工程师成长魔法 对于Linux操作系统来说,一般通过VNC、Teamviewer和SSH等工具来进行远程管理...

6.5K80
来自专栏FreeBuf

寻找活动目录中使用可逆加密存储密码的账户

密码安全问题一直都受到个人和企业的关注。对于个人而言,或许仅仅只是个人隐私的被公开,而对于企业而言则可能会是灾难性的。为了避免出现这种情况,越来越多的企业都开始...

11310
来自专栏云计算教程系列

如何在Ubuntu 16.04中为Apache创建自签名SSL证书

TLS或传输层安全性及其前身SSL(代表安全套接字层)是用于将正常流量包装在受保护的加密包装中的Web协议。

37400

如何使用GPG密钥进行SSH身份验证

GPGTools为OS X提供了最简单的GPG实现。否则,js brew install gnupg2如果你有Homebrew,你可以运行。

86120
来自专栏小樱的经验随笔

利用 John the Ripper 破解用户登录密码

看到这个标题,想必大家都很好奇,John the Ripper 是个什么东西呢?如果直译其名字的话就是: John 的撕裂者(工具)。 相比大家都会觉得摸不着头...

42020
来自专栏狂码一生

QT5中操作QWidgetItem下的集合元素(二)

13020
来自专栏bdcn

CoreOS配置Docker API TLS认证 顶

我们经常会利用Portainer来管理docker环境,也经常会用Jenkins来自动构建和部署docker,远程管理都会使用到Docker API,通常我们只...

25420

扫码关注云+社区

领取腾讯云代金券