全文检索数据挖掘
1.全文索引
全文检索(Full-text Search)：先建立索引，再对索引进行搜索的过程，搜索结果为匹配文本
一般过程：索引创建(Indexing)和搜索索引(Search)
- 索引创建：将现实世界中所有的结构化和非结构化数据提取信息，创建索引的过程。
- 搜索索引：就是得到用户的查询请求，搜索创建的索引，然后返回结果的过程。
- 停词（stop word）：英文中没有任何意义的词，不创建索引
2.数据挖掘与数据仓库
数据挖掘（DM）
传统的数据库分析数据量太大后效率低，产生数据挖掘和数据仓库等新技术。数据挖掘功能：
1.自动预测趋势和行为
2.关联分析
3.聚类
4.概念描述
5.偏差检测
http://os.51cto.com/art/201012/238194.htm
数据挖掘之分词器：
1.基于词典分词（目前主流的分词方法，解决70~80%的问题，二元以上分词后查找字典直到找不到为止）：正向最大匹配、逆向最大匹配、双向最大匹配、最佳最大匹配
2.基于语义分词（还不成熟）
3.基于统计分词（优先高频词汇）
http://www.csdn.net/article/2014-09-11/2821642-data-mining-by-Lanceyan
数据仓库（DW）
数据仓库是一个环境，组成包括： 数据抽数据净化 数据载入 信息发布系统 操作型数据和外界数据 数据集市 报表,查询, EIS工具 OLAP 工具 数据挖掘工具 操纵平台 元数据 管理平台
3.网络爬虫
建立URL和分词元数据的键值对，提供全文检索URL
http://www.cnblogs.com/elaron/archive/2013/07/24/3213333.html
http://www.admin10000.com/document/5250.html
4.Lucene
开源的搜索引擎库，提供全文索引方法
反响索引：词-文章键值对 倒排索引：倒过来，文章作为key值
Lucene建立索引五大类： Document、Field、Analyzer（分词器）、IndexWriter、Directory
Lucene搜索： Query、Term、TermQuery、IndexSearcher、Hits
http://blog.csdn.net/ceclar123/article/details/10150839
http://www.cnblogs.com/xing901022/p/3933675.html
http://lucene.apache.org/core/4_2_1/core/overview-summary.html（lucene api）
词库素材：
词库在网上很多如，QQ拼音、搜狗拼音等词库都已加密，可以找一些未加密的词库，导入lucene词库管理工具
5.Solr
Solr：基于Lucene建立的服务器，提供全文搜索服务
Nutch：Web搜索引擎
HadDoop：分布式服务框架
参考：
http://my.oschina.net/apdplat/blog/228615?p=1（word分词器、ansj分词器、mmseg4j分词器、ik-analyzer分词器分词效果评估）
http://3dobe.com/archives/44/（IK分词器原理与源码分析）
http://www.th7.cn/Program/net/201212/117929.shtml(Lucene.net全文检索架构)
http://blog.csdn.net/liuweitoo/article/details/8124440（Lucene）