专栏首页云计算教程系列如何在Ubuntu 16.04上安装和配置Sphinx
原创

如何在Ubuntu 16.04上安装和配置Sphinx

介绍

Sphinx是一个开源搜索引擎,允许全文搜索。众所周知,它能非常有效地对大数据进行搜索。要编制索引的数据通常来自非常不同的来源:SQL数据库,纯文本文件,HTML文件,邮箱等。

Sphinx的一些主要功能包括:

  • 高索引和搜索性能
  • 高级索引和查询工具
  • 高级结果集后处理
  • 经证实可扩展性高达数十亿个文档,数TB数据和每秒数千个查询
  • 易于与SQL和XML数据源以及SphinxQL,SphinxAPI或SphinxSE搜索界面集成
  • 使用分布式搜索轻松扩展

在本教程中,我们将使用分发包中包含的示例SQL文件设置Sphinx和MySQL服务器。它将为您提供有关如何将Sphinx用于您的项目的基本知识。

准备

在开始本指南之前,您需要:

  • 一个Ubuntu 16.04服务器。没有服务器的同学可以在这里购买,不过我个人更推荐您使用免费的腾讯云开发者实验室进行试验,学会安装后再购买服务器
  • 一个可使用sudo权限的非root用户。
  • 将MySQL安装在您的服务器上。如果您在生产环境使用,我建议您直接使用云关系型数据库,云关系型数据库让您在云中轻松部署、管理和扩展的关系型数据库,提供安全可靠、伸缩灵活的按需云数据库服务。腾讯云关系型数据库提供 MySQL、SQL Server、MariaDB、PostgreSQL 数据库引擎,并针对数据库引擎的性能进行了优化。

第1步 - 安装Sphinx

在Ubuntu上安装Sphinx非常简单,因为它位于本机包存储库中。使用apt-get安装它。

sudo apt-get install sphinxsearch

现在,您已在服务器上成功安装了Sphinx。在启动Sphinx守护程序之前,让我们配置它。

第2步 - 创建测试数据库

接下来,我们将使用随包提供的SQL文件中的示例数据来设置数据库。这将允许我们测试Sphinx搜索是否在以后工作。

让我们将示例SQL文件导入数据库。首先,登录MySQL服务器shell。

mysql -u root -p

在询问时输入MySQL root用户的密码。您的提示将更改为mysql>

创建一个虚拟数据库。在这里,我们称之为测试,但您可以根据需要命名。

CREATE DATABASE test;

导入示例SQL文件。

SOURCE /etc/sphinxsearch/example.sql;

然后离开MySQL shell。

quit

现在您有一个填充了示例数据的数据库。接下来,我们将自定义Sphinx的配置。

第3步 - 配置Sphinx

Sphinx的配置应该在/etc/sphinxsearch的一个名为sphinx.conf的文件中。该配置包含3个运行必不可少的主要块:索引搜索。我们将提供一个示例配置文件供您使用,并解释每个部分,以便您以后可以自定义。

首先,创建sphinx.conf文件。

sudo nano /etc/sphinxsearch/sphinx.conf

下面依次描述索引搜索块。然后,在此步骤结束时,包含sphinx.conf整个内容将供您复制并粘贴到文件中。

块包含源,用户名和密码的MySQL服务器的类型。sql_query的第一列应该是唯一的id。SQL查询将在每个索引上运行,并将数据转储到Sphinx索引文件。以下是每个字段和源块本身的描述。

  • type:要索引的数据源类型。在我们的例子中,这是mysql。其他支持的类型包括pgsql,mssql,xmlpipe2,odbc等。
  • sql_host:MySQL主机的主机名。在我们的例子中,这是localhost。这可以是域或IP地址。
  • sql_user:MySQL登录的用户名。在我们的示例中,这是root
  • sql_pass:MySQL用户的密码。在我们的示例中,这是根MySQL用户的密码。
  • sql_db:存储数据的数据库的名称。在我们的例子中,这是测试
  • sql_query:将数据从数据库转储到索引的查询。

这是源块:

source src1
{
  type          = mysql
​
  #SQL settings (for ‘mysql’ and ‘pgsql’ types)
​
  sql_host      = localhost
  sql_user      = root
  sql_pass      = password
  sql_db        = test
  sql_port      = 3306 # optional, default is 3306
​
  sql_query     = \
  SELECT id, group_id, UNIX_TIMESTAMP(date_added) AS date_added, title, content \
  FROM documents
​
  sql_attr_uint         = group_id
  sql_attr_timestamp    = date_added
}

所述指数部件包含源和存储数据的路径。 在

  • source:源块的名称。在我们的示例中,这是src1
  • path:保存索引的路径。
index test1
{
  source        = src1
  path          = /var/lib/sphinxsearch/data/test1
  docinfo       = extern
}

searchd的组件包含端口和其他变量来运行狮身人面像守护进程。

  • listen:Sphinx守护程序将运行的端口,后跟协议。在我们的示例中,这是9306:mysql41。已知的协议是:sphinx(SphinxAPI)和:mysql41(SphinxQL)
  • query_log:保存查询日志的路径。
  • pid_file:Sphinx守护程序的PID文件的路径。
  • seamless_rotate:在将具有大量数据的索引旋转到预缓存时防止搜索停顿。
  • preopen_indexes:是否在启动时强制预先打开所有索引。
  • unlink_old:是否在成功轮换时删除旧索引副本。
searchd
{
  listen            = 9312:sphinx       #SphinxAPI port
  listen            = 9306:mysql41      #SphinxQL port
  log               = /var/log/sphinxsearch/searchd.log
  query_log         = /var/log/sphinxsearch/query.log
  read_timeout      = 5
  max_children      = 30
  pid_file          = /var/run/sphinxsearch/searchd.pid
  seamless_rotate   = 1
  preopen_indexes   = 1
  unlink_old        = 1
  binlog_path       = /var/lib/sphinxsearch/data
}

要复制和粘贴的完整配置如下。您需要在下面更改的唯一变量是源块中的sql_pass变量,该变量如下所示:

source src1
{
  type          = mysql
​
  sql_host      = localhost
  sql_user      = root
  sql_pass      = your_root_mysql_password
  sql_db        = test
  sql_port      = 3306
​
  sql_query     = \
  SELECT id, group_id, UNIX_TIMESTAMP(date_added) AS date_added, title, content \
  FROM documents
​
  sql_attr_uint         = group_id
  sql_attr_timestamp    = date_added
}
index test1
{
  source            = src1
  path              = /var/lib/sphinxsearch/data/test1
  docinfo           = extern
}
searchd
{
  listen            = 9306:mysql41
  log               = /var/log/sphinxsearch/searchd.log
  query_log         = /var/log/sphinxsearch/query.log
  read_timeout      = 5
  max_children      = 30
  pid_file          = /var/run/sphinxsearch/searchd.pid
  seamless_rotate   = 1
  preopen_indexes   = 1
  unlink_old        = 1
  binlog_path       = /var/lib/sphinxsearch/data
}

要探索更多配置,您可以查看/etc/sphinxsearch/sphinx.conf.sample文件,其中包含更详细说明的所有变量。

第4步 - 管理索引

在此步骤中,我们将向Sphinx索引添加数据,并通过cron确保索引保持最新数据。

首先,使用我们之前创建的配置将数据添加到索引。

sudo indexer --all

你应该得到类似下面的东西。

Sphinx 2.2.9-id64-release (rel22-r5006)
Copyright (c) 2001-2015, Andrew Aksyonoff
Copyright (c) 2008-2015, Sphinx Technologies Inc (http://sphinxsearch.com)
​
using config file '/etc/sphinxsearch/sphinx.conf'...
indexing index 'test1'...
collected 4 docs, 0.0 MB
sorted 0.0 Mhits, 100.0% done
total 4 docs, 193 bytes
total 0.010 sec, 18552 bytes/sec, 384.50 docs/sec
total 4 reads, 0.000 sec, 0.1 kb/call avg, 0.0 msec/call avg
total 12 writes, 0.000 sec, 0.1 kb/call avg, 0.0 msec/call avg

在生产环境中,必须使索引保持最新。要做到这一点,让我们创建一个cronjob。首先,打开crontab。

crontab -e

系统可能会询问您要使用哪个文本编辑器。选择你喜欢的任何一个; 在本教程中,我们已经使用过了nano

后面的cronjob将每小时运行一次,并使用我们之前创建的配置文件将新数据添加到索引中。将其复制并粘贴到文件末尾,然后保存并关闭该文件。

@hourly /usr/bin/indexer --rotate --config /etc/sphinxsearch/sphinx.conf --all

现在Sphinx已完全设置和配置,我们可以启动该服务并进行试用。

第5步 - 启动Sphinx

默认情况下,Sphinx守护程序已关闭。首先,我们将通过将/etc/default/sphinxsearch中的行START=no更改为START=yesin 来启用它。

sudo sed -i 's/START=no/START=yes/g' /etc/default/sphinxsearch

然后,使用systemctl重新启动Sphinx守护程序。

sudo systemctl restart sphinxsearch.service

要检查Sphinx守护程序是否正常运行,请运行。

sudo systemctl status sphinxsearch.service

你应该得到类似下面的东西。

● sphinxsearch.service - LSB: Fast standalone full-text SQL search engine
   Loaded: loaded (/etc/init.d/sphinxsearch; bad; vendor preset: enabled)
   Active: active (running) since Tue 2016-07-26 01:50:00 EDT; 15s ago
   . . .

这也将确保即使重新启动服务器,Sphinx守护程序也会启动。

第6步 - 测试

现在一切都已设置好,让我们测试一下搜索功能。使用MySQL接口连接到SphinxQL(在端口9306上)。您的提示将更改为mysql>

mysql -h0 -P9306

我们来搜索一个句子。

SELECT * FROM test1 WHERE MATCH('test document'); SHOW META;

你应该得到类似下面的东西。

+------+----------+------------+
| id   | group_id | date_added |
+------+----------+------------+
|    1 |        1 | 1465979047 |
|    2 |        1 | 1465979047 |
+------+----------+------------+
2 rows in set (0.00 sec)
​
+---------------+----------+
| Variable_name | Value    |
+---------------+----------+
| total         | 2        |
| total_found   | 2        |
| time          | 0.000    |
| keyword[0]    | test     |
| docs[0]       | 3        |
| hits[0]       | 5        |
| keyword[1]    | document |
| docs[1]       | 2        |
| hits[1]       | 2        |
+---------------+----------+
9 rows in set (0.00 sec)

在上面的结果中,您可以看到Sphinx在我们的测试句子的索引test1中找到了2个匹配项。SHOW META;命令还显示句子中每个关键字的命中数。

我们来搜索一些关键词。

CALL KEYWORDS ('test one three', 'test1', 1);

你应该得到类似下面的东西。

+------+-----------+------------+------+------+
| qpos | tokenized | normalized | docs | hits |
+------+-----------+------------+------+------+
| 1    | test      | test       | 3    | 5    |
| 2    | one       | one        | 1    | 2    |
| 3    | three     | three      | 0    | 0    |
+------+-----------+------------+------+------+
3 rows in set (0.00 sec)

在上面的结果中,您可以看到在test1索引中,Sphinx发现:

  • 关键字“test”的3个文档中的5个匹配项
  • 1个文档中的2个匹配关键字“one”
  • 0个文档中的0个匹配项是关键字“three”

现在你可以离开MySQL shell了。

quit

结论

在本教程中,我们向您展示了如何安装Sphinx并使用SphinxQL和MySQL进行简单搜索。

通过使用Sphinx,您可以轻松地向您的网站添加自定义搜索。

想要了解更多关于安装和配置Sphinx的相关教程,请前往腾讯云+社区学习更多知识。


参考文献:《How To Install and Configure Sphinx on Ubuntu 16.04》

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 使用mysqldump备份MySQL或MariaDB

    在日常维护工作当中经常会需要对数据进行导出操作,而mysqldump是导出数据过程中使用非常频繁的一个工具。本文将简介MySQL如何使用mysqldump工具进...

    无敌小笼包
  • 如何在Ubuntu 14.04上为Apache设置mod_rewrite

    在本教程中,我们将激活并学习如何使用Apache2 mod_rewrite模块管理URL重写。这个工具允许我们以更干净的方式重写URL,将人类可读的路径转换为代...

    无敌小笼包
  • 如何在Debian 9上使用Let加密来保护Nginx

    我们的加密是一个证书颁发机构(CA),它提供了一种获取和安装免费TLS / SSL证书的简便方法,可以在Web服务器上启用加密的HTTPS。它通过提供软件客户端...

    无敌小笼包
  • 『 懒人10分钟—Linux学习篇(二)』设置Linux无界面模式

    相信很多在做web开发、后台服务、api开发等IT朋友,都会接触到Linux、Ubuntu、Unix等系统的开发,如何在不卸载桌面的前提下开机能直接进入命令界面...

    23号杂货铺
  • 科学瞎想系列之一〇四 NVH那些事(9)

    【部分来自网络如有侵权敬请邮箱联系。联系邮箱laolicsiem@126.com】

    标准答案
  • DotNet常用排序算法总结

        数据结构和算法对一个程序来说是至关重要的,现在介绍一下几种算法,在项目中较为常用的算法有:冒泡排序,简单选择排序,直接插入排序,希尔排序,堆排序,...

    彭泽0902
  • 梯形编程的自动演绎验证

    原文题目: Automated Deductive Verification for Ladder Programming

    吴亚芳
  • 英语基础不好,能学好编程吗?

    英语基础不好,能学好编程吗?相信这是摆在很多学习编程但英语不好的人面前的困惑。 ? 那么英语到底影不影响对编程的学习呢,小编就来和你们说说。 如果你英文英语基础...

    企鹅号小编
  • Debian 环境下简单配置 Bind9 服务

    Bind是使用最广泛的DomainName Server,它是Berkeley Internet Name Domain Service的简写,伯克里大学编写的...

    Debian社区
  • 单个GPU上可运行的Transformer,谷歌&伯克利最新研究开源 | ICLR 2020

    Transformer自诞生以来,就在NLP领域刷新一个又一个纪录,称作当下最流行的深度学习框架亦不为过。

    量子位

扫码关注云+社区

领取腾讯云代金券