专栏首页人工智能LeadAIElasticSearch优化系列一:集群节点规划

ElasticSearch优化系列一:集群节点规划

节点职责单一,各司其职

elasticSearch的配置文件中有2个参数:node.master和node.data。这两个参 数搭配使用时,能够帮助提供服务器性能。

数据节点node.master: false node.data: true

该node服务器只作为一个数据节点,只用于存储索引数据。使该node服务器功能 单一,只用于数据存储和数据查询,降低其资源消耗率。

master节点node.master: true node.data: false

该node服务器只作为一个主节点,但不存储任何索引数据。该node服务器将使用 自身空闲的资源,来协调各种创建索引请求或者查询请求,讲这些请求合理分发到相关 的node服务器上。

负载均衡节点 node.master: false node.data: false

该node服务器即不会被选作主节点,也不会存储任何索引数据。该服务器主要用 于查询负载均衡。在查询的时候,通常会涉及到从多个node服务器上查询数据,并请 求分发到多个指定的node服务器,并对各个node服务器返回的结果进行一个汇总处理, 最终返回给客户端。

关闭data节点服务器中的http功能

针对ElasticSearch集群中的所有数据节点,不用开启http服务。将其中的配置 参数这样设置:http.enabled: false,同时也不要安装head, bigdesk, marvel等监控 插件,这样保证data节点服务器只需处理创建/更新/删除/查询索引数据等操作。

http功能可以在非数据节点服务器上开启,上述相关的监控插件也安装到这些服 务器上,用于监控ElasticSearch集群状态等数据信息。

这样做一来出于数据安全考虑,二来出于服务性能考虑。

一台服务器上最好只部署一个Node

一台物理服务器上可以启动多个Node服务器节点(通过设置不同的启动port),但一台服务器上的CPU,内存,硬盘等资源毕竟有限,从服务器性能考虑,不建议一台服务器上启动多个node节点。

在大规模局点,比如100个点,可以专门配备3个Master,可使用3台具有内存的刀片即可,即参数配置为node.master: true,node.data: false;可以按比例配备数据汇聚节点,比如10个,即参数配置为node.master: false ,node.data: false;小规模节点,可以不用如此设置,当然如果依然有性能问题,也是一个优化的措施。

参考文档

1、ElasticSearch性能优化策略(https://wenku.baidu.com/view/82b082b5998fcc22bcd10df4.html) 2、elasticsearch三个重要的优化(http://zhaoyanblog.com/archives/319.html)

本文分享自微信公众号 - 人工智能LeadAI(atleadai),作者:苏小保

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-11-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python及numpy,pandas易混淆的点

    初接触python觉得及其友好(类似matlab),尤其是一些令人拍案叫绝不可思议的简单命令就可以完成非常复杂的计算,但是真正接触一下就发现,python比ma...

    用户1332428
  • 为什么说Python是伟大的入门语言

    本文作者列举了一些Python特性,并认为Python是最适合入门的编程语言,一起来看一下。

    用户1332428
  • Active Learning: 一个降低深度学习时间,空间,经济成本的解决方案

    ? 下面要介绍的工作发表于CVPR2017(http://cvpr2017.thecvf.com/),题为“Fine-tuning Convolution...

    用户1332428
  • 一款轻量级树形控件EasyTreeview

    使用方法 引入 <link rel="stylesheet" type="text/css" href="./css/index.min.css"> <div ...

    lonelydawn
  • AQS原理浅析关于Lock及AQS的一些补充:羊群效应

    JavaEdge
  • CountDownLatch 源码浅析

    tomas家的小拨浪鼓
  • 树与二叉表达树树基础二叉表达树

    树基础 定义 数的定义 可以使用递归的方法定义:一棵树是一些节点的集合。一棵树由根节点和0~多个非空树(即子树)组成。这些子树中的每一颗根节点都被来自母树跟的一...

    月见樽
  • Elasticsearch 6.x 配置详解

    # ---------------------------------- Cluster -----------------------------------

    create17
  • 机器学习中如何选择分类器

    在机器学习中,分类器作用是在标记好类别的训练数据基础上判断一个新的观察样本所属的类别。分类器依据学习的方式可以分为非监督学习和监督学习。 非监督学习顾名思义指的...

    企鹅号小编
  • 【原创】Java并发编程系列14 | AQS源码分析

    AbstractQueuedSynchronizer是Java并发包java.util.concurrent的核心基础组件,是实现Lock的基础。

    java进阶架构师

扫码关注云+社区

领取腾讯云代金券