专栏首页QQ大数据团队的专栏Elasticsearch 跨集群复制(CCR)之腾讯云 ES 跨地域容灾

Elasticsearch 跨集群复制(CCR)之腾讯云 ES 跨地域容灾

腾讯云 ES 目前已经提供了多可用区部署,即支持同地域跨机房的高可用容灾方案,满足了绝大多数客户的需求。但是依然会有部分客户希望进一步提升容灾级别,能够做到跨地域容灾。随着腾讯云 ES 双网卡功能的发布,使得跨地域容灾成为可能。接下来我将介绍下腾讯云 ES实现跨地域容灾的详细步骤。

一、对等连接 (https://cloud.tencent.com/document/product/553/18836?from=10680)

首先将北京和上海的两个 vpc 建立对等连接,如下图所示:

新建对等链接

注意:如果两个 vpc 的网段有冲突则不能建立对等连接。

对等连接建立成功

vpc 之间建立好对等连接后需要配置下路由表。

配置路由表:

一定要在本端和对端都配置相关路由,才能通过对等连接通信,且需要绑定对应云服务器的子网。

其中路由策略配置如下:

路由表通过路由策略来实现流量走向控制,路由策略由目的端、下一跳类型和下一跳组成:

  • 目的端:目的端即为您要转发到的目标网段。目的网段描述仅支持网段格式,如果您希望目的端为单个 IP,可设置掩码为32(如172.16.1.1/32)。另外,目的端不能为路由表所在私有网络内的 IP 段,原因是 Local 路由已表示此私有网络内默认内网互通。
  • 下一跳类型:私有网络的数据包的出口。私有网络下一跳类型支持 “NAT 网关”、“对等连接”、“VPN网关”、“专线网关”、“云服务器”等类型。
  • 下一跳:指定具体跳转到的下一跳实例(使用下一跳 ID 标识),如私有网络内的某个具体 NAT 网关。

在本地端(北京)新增目的端的路由策略(https://cloud.tencent.com/document/product/215/39406?from=10680)。

配置路由表

在目的端(上海)同样执行上面的操作。

对等连接建立好,且路由表配置完成后,我们进入到北京的云服务器中尝试连接上海的云服务器:

从北京的 cvm上 ping 上海的 cvm:

测试网络连通性

可见对等连接是建立成功了。

二、搭建CCR

下面我们就分别在北京和上海使用对应的 vpc 购买两个 ES 集群(https://cloud.tencent.com/login?s_url=https%3A%2F%2Fbuy.cloud.tencent.com%2Fes#/?region=ap-beijing)。

上海集群 es-a785wmve:

上海测试集群

北京集群 es-ki42hwk9:

北京测试集群

我们将北京的 ES 集群作为 Leader Cluster,把上海的 ES 集群作为 Follower Cluster。

1、设置 Remote Cluster

登录到上海的 kibana 进行 CCR 的相关配置:

将北京的 ES 集群设置为 Remote Cluster:

创建远程集群信息

Connected 表示已经连接上远端的 ES 集群了:

远端集群设置成功

2、创建 Follower Index:

首先需要先在 Leader Cluster 即北京 ES 集群中创建一个索引:

北京集群创建 Leader 索引

然后在上海的集群中继续创建 Follower Index。

在 Follower 上海集群的 kibana 中进行如下配置:

主要是配置刚刚设置的 Remote Cluster 的 name,以及 Leader Index 和本地集群需要Follower 的 index。

配置完成后得到如下的列表:

然后查看索引管理,发现已经在上海的集群中创建了一个 follower index:

但是这时候索引里还没有任何数据,doc 数量是0。下面我们就在北京的 Leader 集群中写入几条数据,再来看看上海的 Follower 集群是否能够同步到。

3、数据同步

首先我们在北京集群的 kibana 中写入如下几条数据:

Leader Index 写入数据

查看 Leader 北京的集群的 index manager:

Leader Index 写入数据

发现四条数据都写入了。目前的 doc 数量是4.

下面我们再去 Follower 上海集群的 kibana 上查看 Index Manager。

Follower Index 自动同步数据

发现上海的 Follower 集群中的 Follower 索引 wurong_sh_index 也包含了4条 doc 数据。说明我们已经完成了跨地域跨集群的复制了。

至此,我们完成了跨地域复制的数据同步。

备注说明:由于是跨地域打通了网络,如果出现下面的 Not connected 状态,可能会出现网络不稳定的情况,会导致数据的复制有一定的延迟。

点击文末「阅读原文」,了解腾讯云Elasticsearch Service更多信息~

腾讯云大数据

长按二维码 关注我们

本文分享自微信公众号 - 腾讯云大数据(TXcloudbigdata),作者:吴容

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-10-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 我与 ES 的故事——TencentES 体验征文活动

    TencentES Oteam 发起《我与 ES 的故事——TencentES 体验征文活动》,希望大家可以畅所欲言,来谈一谈使用 ES 过程中的故事。 ? ...

    腾讯QQ大数据
  • 腾讯云发布保理云平台,金融科技助力快速搭建保理业务系统

    8月5日,腾讯云正式上线保理业务数字化平台“腾讯云鑫-保理云”,以SaaS化方式为商业保理公司、融资租赁公司、中小商业银行等金融机构,提供保理业务开展的全流程...

    腾讯QQ大数据
  • 沙龙回顾 | Griddle 推荐框架介绍

    本次分享是神盾推荐系统中的 Griddle 框架的介绍, 这个框架是一个面向商品推荐的级联框架。

    腾讯QQ大数据
  • ElasticSearch Aggregations 分析

    我记得有一次到一家公司做内部分享,然后有研发问我,即席分析这块,他们用ES遇到一些问题。我当时直接就否了,我说ES还是个全文检索引擎,如果要做分析,还是应该用I...

    用户2936994
  • 003.Elasticsearch-6.6.0生产环境集群部署指南

    ES是很消耗内存的,消耗的不是JVM的内存,一般来说ES用的JVM Heap还是比较少的,主要是使用机器的物理内存,ES底层基于Lucene,Lucene是基于...

    CoderJed
  • Elasticsearch学习,请先看这一篇!

    题记 Elasticsearch研究有一段时间了,现特将Elasticsearch相关核心知识、原理从初学者认知、学习的角度,从以下9个方面进行详细梳理。欢迎讨...

    铭毅天下
  • ELK Stack系列之基础篇(四) - 如何快速搭建 ES集群、实现Kibana 的正常访问?

    Elasticsearch本文统称“ES”。很多情况下,因为工作或者学习需要用到ES集群,但是自身服务器资源又有限,如何解决此问题呢?这里用1台云服务器,...

    南非骆驼说大数据
  • django开发中关于外键设置

    我们要把源码中的db_constraint设置成Flase这样就有关联关系,但是不会受他约数

    小小咸鱼YwY
  • 漫画:“旋转数组”中的二分查找

    是哪三种结果呢?我们仍然以数组【2,5,7,9,12,14,20,26,30】为例来进行分析:

    小灰
  • CSAPP第三章(2)

    数据传输指令是mov,传输不同大小的数据有不同的后缀。movb->传输字节、movw->传输一个字、movl->传输双字、movq->传输四字、movabsq-...

    HeaiKun

扫码关注云+社区

领取腾讯云代金券