在腾讯云上自建的 ES 集群或者在其它云厂商购买的 ES 集群,如果要迁移至腾讯云 ES Serverless 服务(适用于大部分普通索引迁移),可以使用以下几种方式进行离线数据迁移。
迁移方式 | 描述 | 适用场景 | 使用限制 |
通过控制台提供的离线迁移工具,将 COS 快照中的数据迁移到 ES Serverless 服务。 | 数据量大的场景(GB、TB、PB 级别) 对迁移速度要求较高的场景 | 仅支持6.0.0 - 7.14.2的 ES 版本集群 | |
通过配置 Logstash 管道,将已有 ES 集群中的数据全量或增量迁移到 ES Serverless 服务。 | 迁移全量或增量数据,且对实时性要求不高的场景 需要对迁移的数据通过 ES Query 进行简单过滤的场景 需要对迁移的数据进行复杂的过滤或处理的场景 版本跨度较大的数据迁移场景,如 5.x 版本或者 8.x 版本 | 迁移速度与 Logstash 实例规格有关 | |
双写 | 通过双写的方式,将增量数据写入到 ES Serverless 服务。双写一段时间后,历史数据被淘汰,下掉原来的输出端,完成写入切换。 | 数据保存时间较短(例如小于7天)的场景 | 不支持迁移存量数据 业务写入代码需改造,增加新的输出端 |