前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >ElasticSearch集群调优

ElasticSearch集群调优

作者头像
凹谷
发布2020-04-11 10:38:46
6390
发布2020-04-11 10:38:46
举报

放权那些别人都能做的事情,把空出来的时间集中用在收入丰厚的活动上。放权其它无用的事情,将时间用来定位自己。

ElasticSearch集群调优

1、节点发现

单播:可以指定连接主机地址,一般设为master节点地址,如果集群环境存在多个es集群,一般使用此方法,比较安全。

在elasticSearch.yml中添加一下配置

discovery.zen.ping.unicast.hosts: ["*.*.*.61:9301", "*.*.*..62:9301","10.162.24.63:9301"]

多播:默认方式,比较简单,集群中有能够接收和响应的主机即可加入集群

判断主机是否支撑多播:

使用ifconfig命令,查询响应命令中是否含有MULTICAST属性。

2、节点的选取配置

在elasticSearch.yml中添加一下配置

主节点配置

node.master: true

node.data: false

数据节点配置

node.master: false

node.data: true

防止脑裂配置:

discovery.zen.minimum_master_nodes: n(n:有主节点资格并互相连接的最小数目,一般是所有集群数目+1的50%)

3、时光之门

配置集群数据和元数据的避风港:

在elasticSearch.yml中添加一下配置

gateway.type=local

4、配置高查询和高吞吐量

过滤器缓存

indices.cache.filter.size=具体内存大小或者占总内存的百分比

字段数据缓存和断路器

indices.fielddata.cache.size: 20%(可以设置具体值2G,或者总内存百分比20%)注意:字段数据缓存的大小是无限制的,所以不小心可以导致集群内存爆炸。

indices.fielddata.breaker.limit:80%(默认值80%)也可以通过字段断路器来实现,设置限制字段缓存所需的内存,超过设置值抛出异常

5、索引缓冲和刷新率

indices.memory.index_buffer_size: 30% 允许为索引设置最大的内存数,设置提供最大内存的30%用于给索引缓冲。也可以通过indices.memory.min_shard_index_buffer_size 属性,默认4mb,允许为每个分片设计的最小索引缓冲。用于索引缓冲区的可用内存越多,内存中保存的文档就越多。

index.refresh_interval属性,默认1s(1秒),刷新率是指定文档多快可以对搜索操作可见,等式非常简单:刷新率越快,查询越慢,索引的吞吐量越低,如果我们允许有一个较慢的刷新率,如10s或者30s,设置他是不错的,这使得ElasticSearch承受的压力更新,可以将更多的资源用于索引和查询。

6、线程池配置

thread_pool.write.queue_size: 2000,配置写请求队列为2000

强烈建议调整默认线程池,另外支持索引队列、写队列、读队列等

7、模板

可以设置多个索引的共同属性,模板之前可以分层覆盖,根据order属性进行顺序继承覆盖。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-07-29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据与微服务架构 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务,它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档