专栏首页用户1337634的专栏ElasticSearch&HanLP --- 集群部署及常见坑

ElasticSearch&HanLP --- 集群部署及常见坑

部署环境

3台服务器: 192.168.58.201 192.168.58.203 192.168.58.205,部署地址为/opt/soft/,ES版本为5.4.3

组件准备

下载ElasticSearch

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.3.tar.gz

编译hanlp-ext

git clone https://github.com/hualongdata/hanlp-ext.git
cd hanlp-ext
gradle -p es-plugin jar buildPluginZip
# 获得插件:hanlp-ext/es-plugin/distributions/elasticsearch-hanlp-5.4.3.zip

HanLP-1.3.4-offline-tar.gz

下载地址:https://pan.baidu.com/s/1o8Rri0y

安装ElasticSearch

解压

hosts=(192.168.58.201 192.168.58.203 192.168.58.205)
installDir=/opt/soft
hanlpDataDir=/opt/data
if [ ! ${#hosts[@]} = 3 ]; then echo "hosts should set to has three servers"; exit; fi

tar xzf elasticsearch-5.4.3.tar.gz -C ${installDir}
es_home=${installDir}/elasticsearch-5.4.3
ln -s ${installDir}/elasticsearch-5.4.3 ${installDir}/elasticsearch
${es_home}/bin/elasticsearch-plugin install file://`pwd`/elasticsearch-hanlp-5.4.3.zip
tar xzf HanLP-1.3.4-offline.tar.gz -C ${hanlpDataDir}
ln -s ${hanlpDataDir}/HanLP-1.3.4-offline ${hanlpDataDir}/HanLP
cp sysctl.conf ${es_home}/config/

配置

集群配置

sed -i 's|#cluster.name: my-application|cluster.name: iask-cluster|g' ${es_home}/config/elasticsearch.yml
sed -i 's|#network.host: 192.168.0.1|network.host: 0.0.0.0|g' ${es_home}/config/elasticsearch.yml
sed -i "s|#discovery.zen.ping.unicast.hosts: \[\"host1\", \"host2\"]|discovery.zen.ping.unicast.hosts: \[\"${hosts[0]}\", \"${hosts[1]}\", \"${hosts[2]}\"]|g" ${es_home}/config/elasticsearch.yml
sed -i 's|#discovery.zen.minimum_master_nodes: 3|discovery.zen.minimum_master_nodes: 2|g' ${es_home}/config/elasticsearch.yml

HanLP配置

echo "-Djava.security.policy=file://${es_home}/plugins/elasticsearch-hanlp/plugin-security.policy" >> ${es_home}/config/jvm.options
echo 'ES_CLASSPATH="$ES_HOME/lib/*:$ES_HOME/plugins/elasticsearch-hanlp/"' >> ${es_home}/bin/elasticsearch.in.sh
sed -i 's|^root=/opt/app/HanLP/$|root=${hanlpDataDir}/HanLP|g' ${es_home}/plugins/elasticsearch-hanlp/hanlp.properties
sudo ln -s ${es_home}/config/sysctl.conf /etc/sysctl.d/es-sysctl.conf
sudo sysctl -w vm.max_map_count=262144

系统设置

设置最大文件描述符数量,在/etc/security/limits.conf文件中添加2行

* soft nofile 65536
* hard nofile 65536

命令如下,这里需要使用root权限

echo "* soft nofile 65536" >> /etc/security/limits.conf
echo "* hard nofile 65536" >> /etc/security/limits.conf

启动

bin/elasticsearch -d #后台启动

常见问题

  • max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]:(解决办法: /etc/security/limits.conf添加 两行"* soft nofile 65536\n* hard nofile 65536"需要重新ssh或打开终端)
  • max number of threads [3815] for user [user] is too low, increase to at least [4096](解决办法:/etc/security/limits.conf添加两行"* soft nproc 4096\n* hard nproc 4096"
  • max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144](解决办法:sudo sysctl -w vm.max_map_count=262144(当前session有效),同时再修改配置文件echo "vm.max_map_count=262144" >>/etc/sysctl.conf(后续打开的session也有效))
  • java.lang.ClassNotFoundException: org.elasticsearch.plugin.analysis.AnalysisHanLPPlugin(解决办法:一般是HanLP没有正确打包,缺少了es-plugin-5.4.3.jar。正确的打包命令是gradle -p es-plugin jar buildPluginZip
  • SEVERE: 没有找到hanlp.properties,可能会导致找不到data(解决办法:因为没有把HanLP目录配置到CLASSPATH,/bin/elasticsearch.in.sh修改ES_CLASSPATH="$ES_HOME/lib/*:$ES_HOME/plugins/elasticsearch-hanlp/"
  • seccomp unavailable: CONFIG_SECCOMP not compiled into kernel, CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER are needed(解决办法:elasticsearch.yml添加以下内容bootstrap.memory_lock: false bootstrap.system_call_filter: false
  • Native library (com/sun/jna/linux-x86/libjnidispatch.so) not found in resource path(解决办法:原因有很多,我遇到的问题是在64位Centos上安装了32位的JDK,重新安装64位JDK后,问题解决)

参考

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • SQLite的使用

    在Mac和Linux系统中一般都默认安装了sqlite3,可以直接使用命令sqlite3打开

    十毛
  • Spring Cloud Gateway快速体验

    GlobalFilter只要注册到Spring容器,就可以应用在所有请求,比如监控请求耗时

    十毛
  • TensorFlow首次快速体验

    ps: 模型可以在不同语言通用,所以可以使用python训练模型,然后提供给其他语言使用,比如Java

    十毛
  • elasticsearch节点迁移 原

    待es恢复至green状态后需要配置logstash、kibana以及grafna(kibana和grafna之前都是从md6采集数据)。

    阿dai学长
  • ElasticSearch入门之环境搭建

    ElasticSearch是基于Apache Lucene构建的开源搜索引擎 采用Java编写,提供了简单易用的RESTFul API 轻松的横向扩展,可支持P...

    蒋老湿
  • 严选 | Elasticsearch中文社区201901错题本

    马云演讲中曾经提到:很多时候少听成功专家的话。所有的创业者多花点时间学习别人是怎么失败的,因为成功的原因有千千万万,失败的原因就一两个点。

    铭毅天下
  • 深度学习下的医学图像分析(一)

    AI 研习社按:本文由图普科技编译自《Medical Image Analysis with Deep Learning 》,雷锋网(公众号:雷锋网)独家首发。...

    AI研习社
  • python爬虫抓取小姐姐图片

    学习的过程是枯燥的,所以兴趣非常重要,但什么样的兴趣能比得过自己手打的代码经过无数次调试,成果出来的那一瞬间的喜悦呢,而学习爬虫最重要的是因为什么,当然是爬取美...

    kevinfaith
  • 安全问题无处不在:从非托管桌面开始

    未修补和不受监控的Windows桌面是一个开放的大门,可以让病毒和木马潜入您的网络。除了恶意软件,这些桌面还可以作为恶意用户窃取或删除关键公司数据的窗口。如果怀...

    Happiness And Benefit
  • 如何在 Ubuntu 18.04 上安装和配置 NFS 服务器

    网络文件系统(NFS)是一个分布式文件系统协议,它允许你通过网络共享远程文件夹。通过 NFS,你可以将远程文件夹挂载到你的系统上,并且操作远程机器的文件,就像本...

    雪梦科技

扫码关注云+社区

领取腾讯云代金券