前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Zookeeper与Solr 概述 部署 Solr Cloud

Zookeeper与Solr 概述 部署 Solr Cloud

原创
作者头像
待你如初见
修改2018-11-13 14:32:21
2.7K0
修改2018-11-13 14:32:21
举报
文章被收录于专栏:待你如初见待你如初见

solr

环境

  • CentOS 6.9
  • JDK 1.8
  • solr 4.10.2
  • Zookepper 3.4.9
  • Tomcat 7.0.82
  • IKAnalyzer2012FF_u1

solr 概述

  • 是一个独立的企业级搜索应用服务器, 用户可以通过http请求访问这个服务器, 获取或者写入对应的内容, 其底层是Lucene
  • Lucene 是一个开放源代码的全文检索引擎工具包,但它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎(英文与德文两种西方语言)

单机部署

  • 1)在solrexample目录下的webapps目录下
  • 2)找到solr.war 将其复制到tomcat的webapps目录下
  • 3)启动tomcat, 将war包进行解压, 然后关闭tomcat并将war包删除或者更改后缀名即可
    • 将其原有war包更改的主要目的是防止再次解压, 导致原有的设置失效
  • 4)tomcat运行solr所需要的jar包复制到solr的web-inf下的lib目录中 ,classes目录复制到web-inf下
  • 5)将example中solr的目录建议赋值到和tomcat同级的目录下(方便管理)
  • 6)打开tomcat的bin目录找到Catalina.bat文件, 将其右键打开
  • 7) 将下列参数设置到此文件中即可
    • set "JAVA_OPTS=-Dsolr.solr.home=目录位置"
    • 注意: 目录位置就是刚刚复制过来的solr的目录
  • 8) 启动tomcat,访问localhost:8080/solr即可

分布式部署

Zookeeper

zookeeper概述
代码语言:txt
复制
	ZooKeeper是一个分布式的,开放源码(apache)的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase、dubbox、kafka的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
  • zookeeper在solrCloud中的作用
    • 主要用来管理solr集群中的相关配置信息和集群的运行状态, 协助solr进行主节点的选举
Zookeeper部署
  • 修改三台hosts文件: vi /etc/hosts 添加如下内容(填入自己ip与名字): 192.168.72.141 node01 192.168.72.142 node02 192.168.72.143 node03 注意: 添加时, 前面ip地址一定是自己的三台linux的ip地址 切记不要搞错了 1. 修改host
  • 2.上传zookeeper的压缩包(上传其中一台即可)
代码语言:txt
复制
cd /export/software/
rz          //此时选择zookeeper的压缩包进行上传
  • 3.解压zookeeper并修改配置文件
代码语言:txt
复制
tar -zxf zookeeper-3.4.9.tar.gz -C /export/servers/
cd /export/servers/
cd /export/servers/zookeeper-3.4.9/conf
mv zoo_sample.cfg  zoo.cfg
vi zoo.cfg

修改dataDir //指定路径
修改后, 在配置文件的底部, 添加如下内容
server.1=node01:2887:3887
server.2=node02:2887:3887
server.3=node03:2887:3887
服务器相互通信的端口,投票选举的端口
更改后配置文件整体内容如下:(如果担心修改错误, 可以直接将zoo.cfg中的内容全部删除, 复制以下内容即可)

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/export/data/zk
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

#zookeeper集群配置
server.1=node01:2887:3887
server.2=node02:2887:3887
server.3=node03:2887:3887
  • 4.将配置好的zookeeper发送到其他两台主机上
代码语言:txt
复制
cd /export/servers/
scp -r zookeeper-3.4.9/ root@node02:$PWD   //将zookeeper复制到node02的同级目录下
scp -r zookeeper-3.4.9/ root@node03:$PWD   //将zookeeper复制到node03的同级目录下
分别查看文件位置验证是否成功
  • 5.分别在三台主机写入myidmkdir -p /export/data/zk echo "1" > /export/data/zk/myid //依次在三台服务器写入1,2,3 cat /export/data/zk/myid
  • 6.分别启动三台zookeeper(建议启动顺序 node1>>node2>>node3 依次启动)
代码语言:txt
复制
cd /export/servers/zookeeper-3.4.9/bin/
./zkServer.sh start

zookeeper的选举机制

代码语言:txt
复制
1. 当第一台(id=1),启动后, 由于目前自有自己,故会把票投给自己
2. 当第二台(id=2),启动后, 由于目前已经又二台启动, 这时候会将票投给id最大的机器, 此时三台中已经有二台启动, 数量过半, 第二台理所应当的成为了leader
3. 当第三台(id=3),启动后, 虽然id=3为最大, 但是由于leader已经产生, 故只能担任follower
  • 当下一次在重新启动时, 又会恢复选举,此时谁的数据多, 谁为leader, 如果数据都一样, 那么看id谁最大,同时一般选举过半,就会产生leader

solrCloud搭建

  • 1.将在window中部署的单机版solr上传到node01中
代码语言:txt
复制
cd /export/software/
rz             
  • 2.将zip进行解压到指定目录中
代码语言:txt
复制
yum -y install unzip //已安装忽略此步
unzip solr.zip 
mv solr /export/servers/
  • 3.修改tomcat的Catalina.sh的配置文件
代码语言:txt
复制
cd /export/servers/solr/apache-tomcat-7.0.77/bin
vim catalina.sh             //注意此时修改的.sh的文件 为非.bat

添加如下内容:(此处后期还会进行修改, 目前只是为了测试单机版本能否在linux中运行)
export "JAVA_OPTS=-Dsolr.solr.home=/export/servers/solr/solr-home"
  • 4.启动tomcat测试单机版本能否在linux中运行
代码语言:txt
复制
注意: 由于是解压的是zip文件, tomcat中的.sh文件都没有任何的执行缺陷, 需要进行赋权限:
chmod 777 /export/servers/solr/apache-tomcat-7.0.77/bin/*

启动tomcat:
cd /export/servers/solr/apache-tomcat-7.0.77/bin/
./startup.sh 
成功后:将tomcat务必关机操作
./shutdown.sh 
  • 5.将solr-home中的data目录全部清空, 只保留一个索引库即可
代码语言:txt
复制
 cd /export/servers/solr/solr-home/
 rm -rf collection2/                    //删除多余的索引库, 只保留一个collection1即可
 rm -rf collection1/data/
  • 6.将solr的配置文件交给zookeeper进行管理
代码语言:txt
复制
1. 需要先上传solr的安装包
 cd /export/software/
 rz
2. 解压solr的安装包
	unzip solr-4.10.2.zip 
3. 将solr安装包复制到/export/servers下
	mv solr-4.10.2 /export/servers/
4. 开始执行上传
	cd /export/servers/solr-4.10.2/example/scripts/cloud-scripts/
	//注意: 以下命令是一行
	./zkcli.sh -zkhost node01:2181,node02:2181,node03:2181 -cmd upconfig -confdir /export/servers/solr/solr-home/collection1/conf/ -confname solrconf
代码语言:txt
复制
以下命令主要用于查看zookeeper中是否存在solr的配置文件: 可以不执行跳过
cd /export/servers/zookeeper-3.4.9/bin
./zkCli.sh
ls /configs/solrconf
  • 7.修改solr.xml配置文件
    • solr.xml是solr集群管理文件,指定当前实例运行的ip地址及端口号。
代码语言:txt
复制
cd /export/servers/solr/solr-home/
vim solr.xml

修改jetty.port:8080
// 目前用不到但为了统一路径建议修改
  • 8.修改tomcat的Catalina.sh配置文件
代码语言:txt
复制
cd /export/servers/solr/apache-tomcat-7.0.77/bin/
vi catalina.sh 
*** 修改如下内容
export "JAVA_OPTS=-Dsolr.solr.home=/export/servers/solr/solr-home   //原来的内容

//以下为替换后的内容  注意: 这是一行内容, 复制时一起复制即可
export "JAVA_OPTS=-Dsolr.solr.home=/export/servers/solr/solr-home -DzkHost=node01:2181,node02:2181,node03:2181"      
  • 9.将solr目录发送到其他两台linux上(node02,node03)
代码语言:txt
复制
cd /export/servers/
scp -r solr root@node02:$PWD
scp -r solr root@node03:$PWD
// 发送完成查看是否存在
  • 10.依次启动三台solr即可cd /export/servers/solr/apache-tomcat-7.0.77/bin/ ./startup.sh

状态zookeeper查询

代码语言:txt
复制
查询运行状态
/export/servers/zookeeper-3.4.9/bin/zkServer.sh  status

zk客户端的使用

代码语言:txt
复制
进入zk命令行工具
/export/servers//zookeeper-3.4.9/bin/zkCli.sh -server ip
  • 1.创建节点create -s path data acl
代码语言:txt
复制
# 创建临时节点
# zkcli 断开临时节点消失
create -e /temp  temp

# 创建临时顺序节点
create -s -e /temp temp

# 创建永久节点
create /chujian chujian 

# 创建永久顺序节点
create -s /chujian chujian
  • 2.读取节点

ls path watch 读取节点信息

get path watch 获取节点参数

ls2 path watch 获取节点详细信息

代码语言:txt
复制
# 获取节点信息
ls / 
#  获取节点详细信息
ls2 /
# 获取节点参数
get /chujian
  • 3.更新节点参数data 就是要更新的新内容,version 表示数据版本。

set path data version

代码语言:txt
复制
# 更新节点参数
set /chujian chujian01 
  • 4.删除节点

若删除节点存在子节点,那么无法删除该节点,必须先删除子节点,再删除父节点。 delete path version

可以递归删除节点。 Rmr path

setquota -n|-b val path 对节点增加限制。 n:表示子节点的最大个数 b:表示数据值的最大长度 val:子节点最大个数或数据值的最大长度 path:节点路径 listquota path 列出指定节点的 quota 子节点个数为 2,数据长度-1 表示没限制 delquota -n|-b path 删除 quota

  • 5.历史命令

查看历史命令 history

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • solr
    • 环境
      • solr 概述
        • 单机部署
          • 分布式部署
            • Zookeeper
            • zookeeper的选举机制
          • solrCloud搭建
            • 状态zookeeper查询
              • zk客户端的使用
              相关产品与服务
              命令行工具
              腾讯云命令行工具 TCCLI 是管理腾讯云资源的统一工具。使用腾讯云命令行工具,您可以快速调用腾讯云 API 来管理您的腾讯云资源。此外,您还可以基于腾讯云的命令行工具来做自动化和脚本处理,以更多样的方式进行组合和重用。
              领券
              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档