迁移方案说明

最近更新时间:2024-03-15 15:35:41

我的收藏
在腾讯云上自建的 ES 集群或者在其它云厂商购买的 ES 集群,如果要迁移至腾讯云 ES Serverless 服务(适用于大部分普通索引迁移),可以使用以下几种方式进行离线数据迁移。
迁移方式
描述
适用场景
使用限制
通过控制台提供的离线迁移工具,将 COS 快照中的数据迁移到 ES Serverless 服务。
数据量大的场景(GB、TB、PB 级别)
对迁移速度要求较高的场景
仅支持6.0.0 - 7.14.2的 ES 版本集群
Logstash
通过配置 Logstash 管道,将已有 ES 集群中的数据全量或增量迁移到 ES Serverless 服务。
迁移全量或增量数据,且对实时性要求不高的场景
需要对迁移的数据通过 ES Query 进行简单过滤的场景
需要对迁移的数据进行复杂的过滤或处理的场景
版本跨度较大的数据迁移场景,如 5.x 版本或者 8.x 版本
迁移速度与 Logstash 实例规格有关
双写
通过双写的方式,将增量数据写入到 ES Serverless 服务。双写一段时间后,历史数据被淘汰,下掉原来的输出端,完成写入切换。
数据保存时间较短(例如小于7天)的场景
不支持迁移存量数据
业务写入代码需改造,增加新的输出端