展开

关键词

记一次在线跨集群ES

因为当前使用的集群无法继续扩容了并且版本也较低(5.6.4), 所以需要把集群到一个新的规模更大的集群,并且升级一下ES的版本,升级到6.4.3. 方案制定 的需求是: 日志不能停止写入到ES 日志查询不受影响,延迟不能超过1分钟 参考之前写的关于的文章Elasticsearch与集群容灾,制定出的方案为: 先使用logstash 记录开始的时间 在新的集群中执行以下查询,记录开始进行增量的时间戳: GET es-runlog-2019-11-20_search { query: { range: { @timestamp 持续观察同步过程是否稳定 待步骤6的追平过程结束之后,需要持续观察步骤5的增量的情况是否稳定,待一段时间,比如几个小时之后,仍然可以稳定的进行同步,此时可以把日志的查询入口切换到新集群中 ,之后再把写入入切换到新集群中,至此,一次在线跨集群实施过程完毕。

2K113

【Elasticsearch系列之五】通过snapshotES

1、Snapshot1.1、适合场景1) 速度快,适用量大的场景;2) 需占用源集群磁盘空间,或者借助于对象存储,实现友商ES到腾讯云ES,或自建ES到腾讯云ES。 1.3、腾讯云ES备份到COS使用方式snapshot api 是 Elasticsearch用于对进行备份和恢复的一组 api 接口,可以通过 snapshot api 进行跨集群的,原理就是从源 ES 集群创建快照,然后在目标 ES 集群中进行恢复。 从自建 ES 集群至腾讯云 ES 集群,可直接使用 fs 类型仓库,但需要在 ES 配置文件 elasticsearch.yml 中设置仓库路径。 集群至腾讯云 ES 集群,或腾讯云内部的 ES 集群,可使用对应云厂商提供的仓库类型,例如 AWS 的 S3、阿里云的 OSS 和腾讯云的 COS 等。

2.6K52
  • 广告
    关闭

    云产品限时秒杀

    云服务器1核2G首年50元,还有多款热门云产品满足您的上云需求

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    【Elasticsearch系列之七】通过elasticdumpES

    elasticdump1.1、适合场景适合量不大,索引个不多的场景(索引的分片量和副本量需要对每个索引单独进行,或者直接在目标集群提前将索引创建完成,再),支持:analyzerMappingdata 1.2、使用方式elasticsearch-dump是一款开源的ES工具,github地址: https:github.comtaskrabbitelasticsearch-dump1) 安装elasticsearch-dumpelasticsearch-dump ,可指定索引,格式为:{protocol}:{host}:{port}{index}--output-index: 目标 ES 集群的索引--type: 类型,默认为 data,表明只,可选 settings, analyzer, data, mapping, alias--limit:每次向目标ES集群写入的条,不可设置的过大,以免bulk队列写满3) 单个索引以下操作通过elasticdump 注意:此操作并不能索引的配置如分片量和副本量,必须对每个索引单独进行配置的,或者直接在目标集群中将索引创建完毕后再

    1.7K20

    【Elasticsearch系列之八】通过reindexES

    1、reindexreindex 是 ES 提供的一个 api 接口,可以把从源 ES 集群导入到当前 ES 集群,实现集群内部或跨集群同步。 但仅限于腾讯云 ES 的实现方式(跨集群需要elasticsearch.yml中加上ip白名单,并重启集群),所以腾讯云ES不支持 reindex 操作。 ES 集群中配置该参,指明能够 reindex 的远程集群的白名单。 2、方案对比以上介绍了elasticsearch-dump、logstash、reindex、snapshot方式进行,实际上这几种工具大体上可以分为两类:scroll query + bulk ,相比较scroll query + bulk的方式,snapshot的方式速度最快。

    3.7K51

    【Elasticsearch系列之六】通过logstashES

    Logstash1.1、适合场景体量不大,需要在线同步的场景(实际使用的是scroll,是执行瞬间的es快照,近实时的同步)。 1.3、Logstash处理流程Logstash处理流程大致可分为3个阶段,Input---->Filter---->Output(采集----->分析解析---->输出),具体的处理流程可以查看下图 2) Persistent Queue(PQ)处理流程:a) 一条经由input进入PQ,PQ将备份在disk,然后PQ响应input表示已收到;b) 从PQ到达filteroutput :注意:客户在实际的生产环境中,如果用到_routing这个字段,就需要_routing,需要在logstash的output里指定routing字段,值是%{@metadata}(意思是保持跟来源索引一致 query语句,从ES集群读取文档

    2.6K42

    自建ES集群至腾讯云ES的几种方案介绍

    因此,使用离线方案的前提,是客户能够接受集群短时间的写入。例如对于从消息队列中消费写入到 ES 中的日志类场景,暂停一段时间的消费通常不会带来太大的影响。 另外,在过程中,如果进程退出了,则会从头开始,并不会记录的offset,因此这里需要注意先将已经的部分从目的集群中删除,否则会出现重复的现象。 es集群上从远程仓库中通过快照恢复的方式来实现跨集群的离线。 备注说明:Logstash如果是直接从自建ES集群中,则读取的offset是存储在内存中的,如果在过程中节点宕机或进程异常退出,再次启动时,会从头开始读取,可能会出现重复的情况。 参考文档1、ES官方文档2、记一次在线跨集群ES3、Elasticsearch跨集群之离线4、使用 COS 进行备份及恢复 问答Q、客户自建集群在使用snapshot的方式到腾讯云

    1.8K82

    Elasticsearch跨集群之离线

    跨集群用户在腾讯云上自建的ES集群或者在其它云厂商购买的ES集群,如果要至腾讯云ES,用户可以根自己的业务需要选择适合自己的方案。 --type: 类型,默认为data,表明只,可选settings, analyzer, data, mapping, alias --limit:每次向目标ES集群写入的条,不可设置的过大 api接口,可以通过snapshot api进行跨集群的,原理就是从源ES集群创建快照,然后在目标ES集群中进行恢复。 ES集群,同样实现了,限于腾讯云ES的实现方式,当前版本不支持reindex操作。 的方式适合量大的场景下进行

    14.7K104

    elasticsearch最佳实践

    方案一:跨机房集群image.png适用场景:客户ES集群在自建IDC机房里大量需要同步到腾讯云ES集群写入不可中断,业务要保证查询 原理:把IDC自建的es集群与腾讯云es集群互通,做成一个大集群 过程中,需要限制速率和查询范围,这样才不会影响线上es使用完后,原IDC机房的es集群可以下线,然后切换查询、写入设置到腾讯新es集群里 注意事项:这种方案没法展现状态 方案二:Reindex apiimage.png适用场景:客户ES集群在自建IDC机房里大量需要同步到腾讯云ES集群原es集群可停止写入 原理:ES自带有reindex 的APIReindex采用scroll 快照方式查询并导出的方式如果在的期间,原集群有删除或者修改的操作,会导致不一致 注意事项:这种方式需要根量来定下停止写入时间,估算好,操作期间es源集群不能有增量、修改的操作 方案三 介绍:logstash支持从一个ES集群中读取然后写入到另一个ES集群,因此可以使用logstash进行操作配置:input { elasticsearch { hosts => index

    16310

    Redis

    https:blog.csdn.netxc_zhouarticledetails90550221 键有时候我们想将一个redis的到另一个redis中,redis提供了三种方式来满足的需求 move key db就是把指定的键从源到目标库中。由于多库在生产环境中不建议使用,所以此命令很少使用到。 0代表不过期实现原理:dump+restore可以实现redis不同实例之间的。(1)在源Redis上,dump命令会将键值序列化,格式采用RDB格式。 Redis3.06版本之后支持多个键,如果多个键则此处填写空字符串’’destination-db:目标库索引,例如要到0号库,这里就写0 - timeout:的超时时间(单位毫秒 ):添加此选项后后并不删除源键 - :添加此选项后,不管目标redis是否存在该键,都会正常进行覆盖- ]:多个键,例如要k1k2 k3,此处填写keys key1 key2 key3

    2K30

    Clickhouse

    Clickhouse Clickhouse 背景​ 报表即将上线,需准备一个Clickhouse测试库用作后续开发方案调研集群实际上就是要把所有库(system 除外)的表结构和完整的复制一遍 ,运行 DDL 创建表,然后运行上述语句复制遍历所有表,执行 2使用 clickhouse-copierClickhouse-copier 是 ClickHouse 官方提供的一款工具, 使用 clickhouse-backupclickhouse-backup 是社区开源的一个 ClickHouse 备份工具,可用于实现。 有些地方也不是很清楚,最终决定使用 remote 函来做。 关于别的方案、更多的 clickhouse-copier 使用案例,可参考 Altinity 的博客 Clickhouse-copier in practice.使用 remote 函使用

    39120

    在线不停服自建ES集群至腾讯云ES

    背景 在之前的文章Elasticsearch跨集群之离线中,我们介绍了如何在离线场景下把自建的ES集群或者在其它云厂商购买的ES集群至腾讯云的ES, 但是如果在过程中业务不能中断或者不能够暂停写操作 整体方案 首先要确定腾讯云上自建的ES集群节点所在的VPC,然后再腾讯云官网购买一个相同VPC下的ES集群,通过修改新集群的配置把两个集群融合成一个集群,利用ES的rebalance能力把自建ES节点上的至腾讯云 实施步骤 购买腾讯云ES 在腾讯云官网控制台上购买ES, 需要特别注意以下几点: 选择和自建ES相同大版本的ES,高级特性根需要可选基础版和开源版,注意白金版在当前场景下不可选,在完成后可以在腾讯云 节点上是否可以访问腾讯云ES集群的节点 修改腾讯云ES集群的配置进行融合 修改discovery.zen.ping.unicast.hosts参,重启集群 观察两个集群是否融合为一个集群 执行 _name属性为自建ES集群节点的名称列表 观察情况 完毕后,在业务侧修改ES集群地址为腾讯云ES集群的vpc内网地址(先验证vpc内网地址访问无误,然后在业务压力小时切换ES集群地址)

    96881

    Elasticsearch跨集群

    如果是第二种场景,过程中旧集群不能停止写入,需要根实际的业务场景解决一致性的问题:如果业务不是直接写ES, 而是把写入到了中间件,比如业务->kafka->logstash->es的架构 elasticsearch-dump适用场景适合量不大,索引个不多的场景使用方式elasticsearch-dump是一款开源的ES工具,github地址: https:github.comtaskrabbitelasticsearch-dump : 类型,默认为data,表明只,可选settings, analyzer, data, mapping, alias--limit:每次向目标ES集群写入的条,不可设置的过大,以免bulk 注意此操作并不能索引的配置如分片量和副本量,必须对每个索引单独进行配置的,或者直接在目标集群中将索引创建完毕后再。 snapshot api是Elasticsearch用于对进行备份和恢复的一组api接口,可以通过snapshot api进行跨集群的,原理就是从源ES集群创建快照,然后在目标ES集群中进行恢复

    23831

    腾讯云 Elasticsearch 运维篇(十三)

    我们知道ES是一个存储搜索分析引擎,那么如何让自己的现有的ES集群的跨平台的到腾讯云上来呢??我们推荐ES官方的snapshot方法。 接口,可以通过 snapshot api 进行跨集群的,原理就是从源 ES 集群创建快照,然后在目标 ES 集群中进行恢复。 wait_for_completion=true 6,查看快照恢复状态GET _snapshot_status二、总结 1,ES作集群的时候根不同的使用场景有不同的方法。 2,elasticsearchdump 工具和 MySQL 库用于做备份的工具 mysqldump 类似,都是逻辑备份,需要将一条一条导出后再执行导入,所以适合量小的场景下进行。 3,snapshot 的方式适合量大的场景下进行。因此,我们这里重点介绍了一下snapshot的使用。因为它不受网络限制,属于离线跨群的工具。

    50340

    (2) - 如何快速

    摘要在上一篇中我们介绍了的套路,但是没有介绍具体的方案,这篇着重介绍下具体的方案一. 设计目标设计一个的方案,需要实现以下目标速度 qps 需要达到1k,这样能保证1亿的能够在1~2天内跑完qps可控 有可能对线上服务有影响,需要可动态调整qps完整,不丢失 不能遗漏,虽然事后我们有校验的过程,但是设计方案时,需要尽可能的包装不丢失。 进度可控 过程可中断,可重试。比如先10分之一的,再继续来二. 架构设计任务大致分为3个步骤,如下图所示? 因为有速度的要求,我们将每个步骤进行分解,确保每个部分可以异步化,并发处理。这样可以提升速度。遍历完整遍历老的库。

    20910

    】使用XTTS-V3(DBMS_FILE_TRANSFER)

    生产上遇到一个场景,大概1T量左右,由于没用XTTS做过,所以准备尝试一下,本次采用XTTS(增强传输表空间) V3版本的DBMS_FILE_TRANSFER方式。 (28204707)字符集AL32UTF8AL32UTF8实例名XKORGXKORGCPU1616内存(GB)3232量GB1000 要的表空间:USERS、ORCLTBS二、文档及脚本mos 需要将这部分首先动到业务表空间,详见:【】Oracle分区表及索引表空间(https:www.modb.prodb42030)完成后,检查结果如下: ? 在目标文件一致后,将执行一次普通的传输表空间的步骤,从源库导出元对象并导入目标库。在此阶段结束之前,源库只能通过 read only 方式访问。 目标库打开JOBalter system set job_queue_processes=1000; 3.5.35 通知切换IP3.5.36 启动应用测试3.5.37 防火墙策略添加四、应急处置XTTS方式对源库变动主要是设置要表空间

    27620

    elasticsearch节点

    环境系统: centos7工具: ansible情景:将host1节点上的es至host4,缓解A机器资源压力。 注意: 本次单节点没有索引,如果集群整体需要进行索引,参考 es索引:https:blog.csdn.netlaoyang360articledetails65449407附属es恢复至green状态后需要配置logstash、kibana以及grafna(kibana和grafna之前都是从md6采集)。 集群中的一台机器 更改grafna源,将所有来自es源ip更换为es机器中一台机器的ip。 检查kibana和grafna无异常,即完成。 (adsbygoogle = window.adsbygoogle || []).push({});

    64310

    腾讯云ES集群通过COS实现跨地域备份与恢复

    例如有的客户es集群原来是在北京地域,由于一些原因,现在想要将集群到上海地域来。下面我们就详细介绍下借助腾讯云COS和es的snapshot功能来实现跨地域的。 2、cos间复制开始cos的同步复制:将刚刚备份到北京cos桶下面的索引通过cos控制台提供的对象存储功能,全量到上海的桶中。这里我们选择根目录下的全量复制。 点击确定后,开始。 看到上面的进度显示全部完成了。这时候我们到上海的bucket中查看是否已经同步过来了。 可以看到快照都已经全部从北京的cos桶中同步过来了。 发现确实已经恢复过来了。到此,腾讯云ES集群通过COS备份恢复的方式进行跨地域就结束了。 总结:本文介绍了通过腾讯云cos和es自身提供的snapshot功能实现了跨地域的集群间备份与恢复,即通过snapshot方式的

    26320

    腾讯云ES集群通过COS实现跨地域备份与恢复

    下面我们就详细介绍下借助腾讯云COS和es的snapshot功能来实现跨地域的。我们的演示是将北京的集群到上海集群来,因此北京集群作为源地域集群。上海集群作为目的地域集群。 2、cos间复制开始cos的同步复制:将刚刚备份到北京cos桶下面的索引通过cos控制台提供的对象存储功能,全量到上海的桶中。这里我们选择根目录下的全量复制。 点击确定后,开始。看到上面的进度显示全部完成了。这时候我们到上海的bucket中查看是否已经同步过来了。 发现确实已经恢复过来了。到此,腾讯云ES集群通过COS备份恢复的方式进行跨地域就结束了。 总结:本文介绍了通过腾讯云cos和es自身提供的snapshot功能实现了跨地域的集群间备份与恢复,即通过snapshot方式的

    66492

    应用接入ES(二)-同步ES

    三、业务同步ES方案抛开同步到ES,纵观所有的和同步方案,大致分为两个流派,分别是:停机停机简单粗暴,将源停写,然后通过脚本或者其他工具将源筛选过滤然后同步到目标源中 ,最大的缺点就是停写,停写的时间取决于源源的量和方案以及业务的重要程度,在核心并且流量比较大的业务场景中,过度的停机是无法接受的。 不停机不停机又分为严格停机和非严格停机,严格停机是在过程中完全不停写,实现方案也相对复杂,难点在于开启双写时间以及追平方案;非严格停机是在历史阶段(一般量比较大的情况下时间也比较久 ),源源不停写,然后历史结束后,停写源源,通过脚本或者增量日志进行最平,当然停机时间相对较短(停机时间取决于历史时间内业务增量),对于核心业务,在低峰期操作停写追平也是可以接受的 在追平阶段可以采用停机方案,可迅速高效的追平。2.canal+业务脚本a.业务脚本历史同样使用1中的历史方式。

    36710

    Elasticsearch与集群容灾

    本文讨论如何跨集群ES以及如何实现ES的同城跨机房容灾和异地容灾。 跨集群ES的生产实践中,往往会遇到以下问题: 一个运行了较长时间的ES集群,因为物理设备老化,需要把到一个使用新机器搭建的ES集群中 业务计划上云,要把自建的ES集群到云厂商的 ES集群中 根业务需求,存在以下场景: 过程中,旧的集群可以暂时停止服务或者暂停写入,全部到新的集群中后,业务切换到新的集群进行读取和写入 过程中,旧集群不能停止写入,业务不能停服 如果是第一种场景 如果是第二种场景,过程中旧集群不能停止写入,需要根实际的业务场景解决一致性的问题: 如果业务不是直接写ES, 而是把写入到了中间件,比如业务->kafka->logstash->es的架构 api接口,可以通过snapshot api进行跨集群的,原理就是从源ES集群创建快照,然后在目标ES集群中进行恢复。

    2.9K94

    相关产品

    • Elasticsearch Service

      Elasticsearch Service

      腾讯云 Elasticsearch Service(ES)是云端全托管的ELK服务,包含 Kibana ,集成X-Pack。帮助您快速部署、轻松管理、按需扩展集群,简化复杂运维操作,快速构建日志分析、全文搜索、BI 分析等业务。     

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      扫码关注云+社区

      领取腾讯云代金券