全文检索数据挖掘

1.全文索引

全文检索(Full-text Search):先建立索引,再对索引进行搜索的过程,搜索结果为匹配文本

一般过程:索引创建(Indexing)和搜索索引(Search)

  • 索引创建:将现实世界中所有的结构化和非结构化数据提取信息,创建索引的过程。
  • 搜索索引:就是得到用户的查询请求,搜索创建的索引,然后返回结果的过程。
  • 停词(stop word):英文中没有任何意义的词,不创建索引

2.数据挖掘与数据仓库

数据挖掘(DM)

传统的数据库分析数据量太大后效率低,产生数据挖掘和数据仓库等新技术。数据挖掘功能:

1.自动预测趋势和行为

2.关联分析

3.聚类

4.概念描述

5.偏差检测

http://os.51cto.com/art/201012/238194.htm

数据挖掘之分词器

1.基于词典分词(目前主流的分词方法,解决70~80%的问题,二元以上分词后查找字典直到找不到为止):正向最大匹配、逆向最大匹配、双向最大匹配、最佳最大匹配

2.基于语义分词(还不成熟)

3.基于统计分词(优先高频词汇)

http://www.csdn.net/article/2014-09-11/2821642-data-mining-by-Lanceyan

数据仓库(DW)

数据仓库是一个环境,组成包括: 数据抽数据净化 数据载入 信息发布系统 操作型数据和外界数据 数据集市 报表,查询, EIS工具 OLAP 工具 数据挖掘工具 操纵平台 元数据 管理平台

3.网络爬虫

建立URL和分词元数据的键值对,提供全文检索URL

http://www.cnblogs.com/elaron/archive/2013/07/24/3213333.html

http://www.admin10000.com/document/5250.html

4.Lucene

开源的搜索引擎库,提供全文索引方法

反响索引:词-文章键值对 倒排索引:倒过来,文章作为key值

Lucene建立索引五大类: Document、Field、Analyzer(分词器)、IndexWriter、Directory

Lucene搜索: Query、Term、TermQuery、IndexSearcher、Hits

http://blog.csdn.net/ceclar123/article/details/10150839

http://www.cnblogs.com/xing901022/p/3933675.html

http://lucene.apache.org/core/4_2_1/core/overview-summary.html(lucene api)

词库素材

词库在网上很多如,QQ拼音、搜狗拼音等词库都已加密,可以找一些未加密的词库,导入lucene词库管理工具

5.Solr

Solr:基于Lucene建立的服务器,提供全文搜索服务

Nutch:Web搜索引擎

HadDoop:分布式服务框架

参考:

http://my.oschina.net/apdplat/blog/228615?p=1(word分词器、ansj分词器、mmseg4j分词器、ik-analyzer分词器分词效果评估)

http://3dobe.com/archives/44/IK分词器原理与源码分析

http://www.th7.cn/Program/net/201212/117929.shtml(Lucene.net全文检索架构)

http://blog.csdn.net/liuweitoo/article/details/8124440(Lucene)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券