Sphinx&coreseek实现中文分词索引

### ./configure –prefix=/usr/local/sphinx #注意：这里sphinx已经默认支持了mysql
### ./configure --prefix=/usr/local/sphinx --with-mysql=/usr/local/mysql
$ ./configure --prefix=/usr/local/sphinx --with-mysql=/Applications/MAMP/Library
$ make && make install
# 修改配置文件
$ cd /usr/local/sphinx/etc
$ cp sphinx.conf.dist sphinx.conf
$ vim sphinx.conf # 修改配置
# 导入etc下的测试数据
$ mysql -uroot -p test < example.sql
# 建立索引文件
$ bin/indexer -c etc/sphinx.conf
# 运行sphinx
$ bin/searchd
# 运行php测试
$ php api/test.php -h localhost

# 安装中文分词库 cd mmseg-xxx，可能需要额外按照automake
$ ./configure --prefix=/usr/local/mmseg/
# 安装coreseek cd csft-xxx
$ ./configure --prefix=/usr/local/coreseek --with-mysql=/usr/local/mysql --with-mmseg-includes=/usr/local/mmseg/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg/lib/
$ make && make install

source <源名称1>{
	…
}
index <索引名称1>{
	source = <源名称1>
	…
}
source <源名称2>{
	…
}
index <索引名称2>{
	source = <源名称2>
	…
}
indexer{
	…
}
searchd{
	…
}

# 配置格式参考，默认情况下修改数据库用户名和密码即可
source user_source_1
{
    type                    = mysql             // 数据库类型
    sql_host                = localhost         // 所连接的 ip
    sql_user                = root              // 数据库用户名
    sql_pass                = root              // 数据库密码
    sql_db                  = test              // 数据库名称
    sql_port                = 3306              // 数据库端口
    sql_query_pre           = SET NAMES utf8    // 数据库预查询
    # 主查询，执行结果作为数据源
    # 注意：
    # 1. 取出的数据中，必须有id(若无名称为id的字段，可以使用别名)，id为主键
    # 2. id后面的字段创建索引
    sql_query               = SELECT id,name,age FROM user
	...
}

index user_index_1
{
	# 对应创建的数据源
    source					= user_source_1
    # 指定索引文件存放路径
    path					= xxxxx/var/data/xxx
    ...
    # 中文分词配置
    charset_dispath			= xxxxx/etc/
    charset_type			= zh_cn.utf-8
}

searchd
{
	...
	# 指定进程文件、日志文件、查询日志文件的位置
	pid_file				= xxx
	log						= xxx
	query_log				= xxx
}

$ indexer -c <配置文件> --all | <索引文件名>

<?php
    header("content-type:text/html;charset=utf8");
    require 'sphinxapi.php';
    // 创建对象
    $sc = new SphinxClient();
    // 连接服务器
    $sc->setServer('localhost','9312');
    // 执行查询 query('查询关键词','使用索引')
    $keywords = 'CS逍遥剑仙';
    $indexName = 'user_index_1';
    $res = $sc->query($keywords,$indexName);
    // 设置查询数量，(offset limit)
    $sc->setLimits(20, 5);
    // 返回结果
    $ids = $res['matches'];
    $id = implode(',', array_keys($ids));
    // 连接mysql服务器
    $conn = mysql_connect('localhost','root','root');
    mysql_query('use php');
    mysql_query('set names utf8');
    mysql_query("select id,name,from user where id in($id)");
    $data = array();
    while($row = mysql_fetch_assoc($result)){
        $data[] = $row;
    }
    // 输出数据
    foreach($data as $v){
    	// param1: 输出的数据
    	// param2: 索引名称
    	// param3: 关键词
    	// param4: 设置关键词显示的样式
    	// return: 索引数组
        $v = $sc->buildExcerpts($v,$indexName,$keywords,array(
        	'before_match'=>'<font style="color:#f00">',
        	'after_match'=>'</font>'
        ));
        echo $v[1].'<br/>'.$v[2].'<hr>';
    }
    print_r($data);
?>

<?php
    ...
    $keywords = 'CS逍遥剑仙';
    $indexName = 'user_index_1';
    // 设置匹配模式
    $sc->setMatchMode(SPH_MATCH_ALL);
    $res = $sc->query($keywords,$indexName);
    ...

mysql> create table t(id int)engine myisam charset utf8;
mysql> insert into t values(10000)

# 增量索引配置
source src_zl 
{
    ...
    sql_query			= select id,name from user where id>(select id from t)
    # 创建增量索引时更新表中最大id
    sql_query_post		= update a set id = (select max(id) from user)
}
index index_zl 
{
    source				= src_zl
    path				= /usr/local/sphinx/var/data/src_zl
    ...
}

$ bin/indexer -c /usr/local/sphinx/etc/sphinx.conf index_zl --rotate

$ bin/indexer -c /usr/local/sphinx/etc/sphinx.conf --merge user_index_1 index_zl --rotate