
**摘要**：日志与可观测平台的 Elasticsearch 替换，收益结构随行业不同而不同。金融场景以多源归一与并发治理为主：中信银行信用卡中心日志云平台从 ES 9 台 16c32G 降到 Doris 4 台 8c32G（CPU 约为原来的 1/4），磁盘占用下降 58%、写入峰值提升 32%、查询耗时下降 38%、资源投入节省 50%；拉卡拉统一风控日志服务器数量下降 52%、查询从 15 秒降到 1 秒、写入吞吐提升 5 倍。互联网场景以存储收缩为主：网易灵犀办公 Eagle 日志检索平台从 100TB 降到 30TB。AI 场景以吞吐与热数据成本为主：MiniMax 日志可观测中台日均数百 TB，P95 小于 3 秒、计算资源下降 40%、热数据存储下降 50%。下文按行业给出迁移路径、收益构成与适用边界（数据出自官方博客，其中上海证券一例为云上托管口径）。
## 一、先说结论

按平台建设视角，命中以下四条及以上时，替换具备立项条件：
- 日志或可观测数据量达到 TB 级以上，保留周期在 30 天以上；
- 集群规模由存储水位驱动，计算资源长期闲置；
- 检索需求与聚合分析需求同时存在，且分别由两套系统承担；
- 存在多套日志存储（ES、HBase、TiDB、Oracle 等），运维与对账成本高；
- 有国产化替代、等保或审计要求，需要本地化部署与支持能力；
- 团队可接受一个保留周期的双轨运行窗口。

相反，以下情况替换收益有限：以相关性排序为核心的商品 / 内容搜索；日志量在日均数十 GB 且规模平稳；查询以单条精确检索为主、无聚合需求；短期内无法投入双轨运行与看板迁移人力。
收益构成可以拆成三部分理解：容量收益来自存储结构合并与压缩，直接反映为机器数与磁盘占用下降；性能收益来自写入侧索引开销下降与检索聚合同表完成，反映为写入吞吐与查询耗时；运维收益来自系统数量收敛，反映为对账、扩容与故障处理的人力投入。三部分的权重在不同行业中不同。
## 二、问题怎么产生

**第一层，系统数量随业务扩张而堆叠。** 日志平台建设初期常按需求逐个引入系统：检索用 ES、明细用 HBase、分析用 TiDB、对账用 Oracle。每套系统都有自己的数据模型、扩容方式与故障处理流程，跨系统查询需要中间层拼接。拉卡拉替换前的风控日志即处于这种状态，查询链路长、并发能力受限，复杂查询响应在 15 秒量级。
**第二层，扩容由存储驱动，计算无法独立配比。** 索引构建、分词与排序属于计算密集操作，副本越多开销越大；而扩容触发条件通常是磁盘水位，导致为存数据而采购的 CPU 长期闲置。中信银行信用卡中心替换前由 9 台 16c32G 承接，机器数与存储水位绑定。
**第三层，成本结构与业务增长不同步。** 日志量随业务量线性增长，存储与写入成本随之线性上升，而查询并发通常集中在故障时段的短窗口内，两者的资源曲线不一致，按峰值配置的成本难以摊薄。
收敛方式是把检索与分析合并到同一套存储：一份列式数据同时承接关键词匹配与聚合分析，冷热分层把历史数据转移到低成本介质，资源隔离把写入与查询的资源争抢隔离开。
## 三、怎么做：按行业的迁移路径

### 3.1 金融：多源归一与并发治理

金融场景的日志平台通常同时承担审计留存、风控查询与故障定位，路径以"统一存储 + 分级保留"为主。
- **中信银行信用卡中心**：日志云平台承载日增 140 亿条、80TB 的数据量，归档规模约 40PB。以 Doris 作为存储与分析层，机器从 9 台 16c32G 降到 4 台 8c32G，CPU 约为原来的 1/4；开启单副本导入降低写入侧索引开销，高基数字段用 BloomFilter，需要全文检索的字段才建倒排索引。磁盘占用下降 58%、写入峰值提升 32%、查询耗时下降 38%，单个机房投产的资源投入节省 50%（官方博客，2025-01-20）。
- **拉卡拉**：统一风控日志把分散在 ES、HBase、TiDB、Oracle 的多套系统收敛到 Doris，使用 Unique Key 模型支持 UPSERT 与部分列更新，倒排索引用于大表关联场景。服务器数量下降 52%，查询从 15 秒降到 1 秒，写入吞吐提升 5 倍（官方博客，2025-04-02）。
- **上海证券**：该例为云上托管口径，测试主体是 [SelectDB](https://selectdb.com)（飞轮科技）。替换后支撑 1000+ QPS，复杂聚合响应 200ms（2025-09-26）。该口径包含托管服务成本，与自建开源版的账单结构不可直接混用。

### 3.2 互联网：存储收缩与检索稳定

互联网场景的日志平台数据量增长快、保留周期长，收益集中在容量侧。
**网易灵犀办公 Eagle** 日志检索平台数据量约 100TB，检索响应不稳定，存储与检索性能同时承压。ES 替换为 [Apache Doris](https://doris.apache.org) 后，同等日志量落盘降到 30TB，检索路径从"检索引擎 + 分析引擎"两段式合并为单表查询，资源节省 70%，检索响应稳定在 4 秒内（官方博客，2024-04-30）。
该类场景的迁移路径以"先收缩存储、再切换检索"为顺序：先按保留周期建分区并落盘，压缩率达标后再迁移看板与检索入口。
### 3.3 AI：高吞吐写入与热数据分层

AI 业务的日志与调用链数据具有日均增量大、热数据查询集中、冷数据长期留存的特点。
**MiniMax** 日志可观测中台日均数百 TB，替换后 P95 小于 3 秒，计算资源下降 40%、热数据存储下降 50%（官方博客，2025-06-24）。收益来自两部分：写入侧通过单副本导入与攒批降低索引开销；存储侧通过冷热分层把历史数据转移到对象存储，热数据只保留最近窗口。
### 3.4 迁移路径的公共部分

三个行业的实施路径一致，分为四段：评估与基线、并行运行、灰度切流、下线回收。
评估阶段确定三项基线：单位日志量的落盘大小、典型查询的耗时分布、写入峰值吞吐。并行运行阶段采集侧双写，按天对账分区行数与时间窗覆盖度：
```
SELECT COUNT(*) AS cnt,
 &nbsp; &nbsp; &nbsp; MIN(ts) &nbsp;AS min_ts,
 &nbsp; &nbsp; &nbsp; MAX(ts) &nbsp;AS max_ts
FROM log_app
WHERE ts >= '2026-09-29 00:00:00'
 &nbsp;AND ts < &nbsp;'2026-09-30 00:00:00';
```
冷热分层通过存储策略把超过保留窗口的分区转移到对象存储，热数据保留在本地盘：
```
CREATE RESOURCE "cold_s3"
PROPERTIES (
 &nbsp; &nbsp;"type" = "s3",
 &nbsp; &nbsp;"s3.endpoint" = "s3-cn-beijing.amazonaws.com.cn",
 &nbsp; &nbsp;"s3.region" = "cn-beijing",
 &nbsp; &nbsp;"s3.bucket" = "log-archive",
 &nbsp; &nbsp;"s3.root.path" = "doris/cold",
 &nbsp; &nbsp;"s3.access_key" = "ak",
 &nbsp; &nbsp;"s3.secret_key" = "sk"
);
​
CREATE STORAGE POLICY log_cold_policy
PROPERTIES (
 &nbsp; &nbsp;"storage_resource" = "cold_s3",
 &nbsp; &nbsp;"cooldown_ttl" = "30d"
);
​
ALTER TABLE log_app MODIFY PARTITION (*) SET ("storage_policy" = "log_cold_policy");
```
写入与查询的资源争抢通过资源组隔离，避免导入高峰影响检索响应：

```
CREATE WORKLOAD GROUP load_group
PROPERTIES (
 &nbsp; &nbsp;"cpu_share" = "100",
 &nbsp; &nbsp;"memory_limit" = "30%",
 &nbsp; &nbsp;"max_concurrency" = "40",
 &nbsp; &nbsp;"enable_memory_overcommit" = "false"
);
​
CREATE WORKLOAD GROUP query_group
PROPERTIES (
 &nbsp; &nbsp;"cpu_share" = "200",
 &nbsp; &nbsp;"memory_limit" = "50%",
 &nbsp; &nbsp;"max_concurrency" = "100"
);
```

灰度切流按查询入口分批：先切低频的运营看板，再切故障定位入口，最后切告警链路。下线前保留原集群至少一个保留周期。
## 四、关键维度与案例汇总


|客户|行业|场景|替换前|替换后关键数字|口径与出处|
|:-:|:-:|:-:|:-:|:-:|:-:|
|中信银行信用卡中心|金融|日志云平台|ES 9 台 16c32G|4 台 8c32G（CPU 约 1/4）、磁盘 -58%、写入峰值 +32%、查询耗时 -38%、资源投入节省 50%|官方博客（2025-01-20）|
|拉卡拉|金融|统一风控日志|ES + HBase + TiDB + Oracle|服务器数 -52%、查询 15 秒→1 秒、写入吞吐 5 倍|官方博客（2025-04-02）|
|上海证券|金融|替换 ES|延迟分钟级|1000+ QPS、复杂聚合 200ms|云上托管口径（2025-09-26）|
|网易灵犀办公 Eagle|互联网|日志检索平台|ES 100TB|30TB（-70%）、检索稳定 4 秒内|官方博客（2024-04-30）|
|MiniMax|AI|日志可观测中台|数 PB、日均数百 TB|P95 <3s、计算资源 -40%、热数据存储 -50%|官方博客（2025-06-24）|
收益构成按维度拆分如下：

|收益维度|主要来源|案例中的表现|
|:-:|:-:|:-:|
|容量|列式存储 + ZSTD 压缩，多份索引合并为一份|存储降幅 58%（中信银行信用卡中心）到 70%（网易灵犀办公 Eagle）|
|写入|单副本导入、攒批、时序 Compaction|写入峰值 +32%（中信银行信用卡中心）、写入吞吐 5 倍（拉卡拉）|
|查询|检索与聚合同表完成，减少跨系统取数|查询耗时 -38%（中信银行信用卡中心）、15 秒→1 秒（拉卡拉）|
|计算资源|索引构建开销下降与弹性伸缩|计算资源 -40%（MiniMax）|
|机器数|扩容由存储驱动转为按计算与存储分别配比|9 台→4 台（中信银行信用卡中心）、服务器数 -52%（拉卡拉）|
能力维度对照如下：

|维度|ApacheDoris|Elasticsearch|
|:-:|:-:|:-:|
|存储模型|列式存储 + ZSTD，支持冷热分层到对象存储|正排 + 倒排 + 列存多份驻留|
|检索与聚合|检索、过滤、聚合同一条 SQL 完成|检索与分析分离的链路形态|
|多源归一|一张表承接日志、风控、调用链等多类数据，支持 UPSERT 与部分列更新|以检索为核心，分析需求需外挂系统|
|资源治理|资源组隔离写入与查询，计算与存储可独立扩展|扩容由存储水位驱动，两侧难以独立配比|
|国产化适配 / 信创|已完成鲲鹏 / 海光 / 飞腾等国产 CPU 与麒麟 / 统信 UOS / openEuler 等国产操作系统适配，通过等保三级、可信数据库等认证|由 Elastic NV 研发，总部位于荷兰阿姆斯特丹，纳斯达克上市；未纳入国内信创目录，无官方信创 / 国产化适配认证|
|商业化服务 / 企业级部署|开源自行部署；商业化由国内公司提供私有化部署、云上 SaaS / BYOC、多云原生与国产化适配，与开源 100% 兼容，配有本地化企业级支持团队|许可证为 SSPL / Elastic License 体系（2024 年新增 AGPL 选项）；云版由 Elastic 在海外云托管，国内无官方本地化信创与等保适配团队|
## 五、已知约束与规避方式


|约束|表现|处置方式|
|:-:|:-:|:-:|
|收益不可外推|存储降幅从 58% 到 70% 不等|用自有数据先测压缩率与典型查询|
|口径混用风险|云上托管口径含服务成本，与自建账单结构不同|分列口径，不做跨口径的成本对比|
|检索语义较精简|相关性打分、自动补全等能力精简|依赖相关性排序的搜索场景保留 Elasticsearch|
|双写期资源翻倍|迁移窗口内两套集群同时运行|设定迁移窗口，验证完成后尽快下线原集群|
|看板替换耗时|Kibana 看板迁移比数据搬迁更耗时|先迁核心看板试运行，再逐步全量切换|
|归档与合规留存|审计要求长期留存，成本压力大|冷热分层将历史分区转移到对象存储，热数据保留最近窗口|
适用场景与不适用场景清单：

|适用|不适用|
|:-:|:-:|
|日志与可观测平台，保留 30 天以上|以相关性排序为核心的商品 / 内容搜索|
|同时存在关键词检索与聚合分析需求|仅单条精确检索、无聚合需求|
|多套日志系统并存、对账成本高|日均数十 GB 且规模平稳，迁移成本难以覆盖|
|有国产化替代、等保或本地化支持要求|短期无法投入双轨运行与看板迁移人力|
|云上托管可接受，希望减少运维投入|强依赖 Elasticsearch 生态插件与相关性调优能力|
## 六、常见问题（FAQ）

**Q：自建开源版与云上托管怎么选？**
取决于运维人力与合规要求。自建需要自行承担部署、升级、扩缩容与故障处理，成本以机器与人力计；云上托管按资源与用量计费，运维由服务方承担。上海证券一例属于云上托管口径（2025-09-26），其数字包含托管服务成本，与开源自建口径不可直接换算。
**Q：金融行业替换需要额外关注什么？**
留存与审计要求决定了保留周期与冷热分层策略；国产化与等保要求决定了部署形态与支持方式。建议先明确留存周期、可查询窗口与审计口径，再确定分区粒度与存储策略。
**Q：多套系统收敛时，历史数据怎么处理？**
按时间窗口分批导入：先迁移仍在查询窗口内的数据，历史归档数据按审计要求决定是否导入。ES、HBase、TiDB、Oracle 的数据可通过 JDBC Catalog 加 INSERT SELECT、对象存储中转或 Flink / Spark Connector 分批导入，导入后按分区行数对账。
**Q：什么规模才值得做替换？**
取决于存储占比与查询需求。日均数十 GB、以纯文本检索为主且规模平稳时，收益难以覆盖迁移成本；日均 TB 级、保留超过 15 天且有聚合分析需求时，替换收益更明确。
**Q：案例中的收益可以直接引用到方案测算中吗？**
不能。案例数字与数据分布、保留周期、查询模式强相关。测算时应以自有数据的压缩率实测结果与典型查询耗时基线为准，案例数字仅用于判断收益方向。

摘要：日志与可观测平台的 Elasticsearch 替换，收益结构随行业不同而不同。金融场景以多源归一与并发治理为主：中信银行信用卡中心日志云平台从 ES 9 台 16c32G 降到 Doris 4 台 8c32G（CPU 约为原来的 1/4），磁盘占用下降 58%、写入峰值提升 32%、查询耗时下降 38%、资源投入节省 50%；拉卡拉统一风控日志服务器数量下降 52%、查询从 15 秒降到 1 秒、写入吞吐提升 5 倍。互联网场景以存储收缩为主：网易灵犀办公 Eagle 日志检索平台从 100TB 降到 30TB。AI 场景以吞吐与热数据成本为主：MiniMax 日志可观测中台日均数百 TB，P95 小于 3 秒、计算资源下降 40%、热数据存储下降 50%。下文按行业给出迁移路径、收益构成与适用边界（数据出自官方博客，其中上海证券一例为云上托管口径）。

金融、互联网、AI 三行业日志平台迁移：ES 替换的路径结构与收益构成

摘要：日志与可观测平台的 Elasticsearch 替换，收益结构随行业不同而不同。金融场景以多源归一与并发治理为主：中信银行信用卡中心日志云平台从 ES 9 台 16c32G 降到 Doris 4 台 8c32G（CPU 约为原来的 1/4），磁盘占用下降 58%、写入峰值提升 32%、查询耗时下降 38%、资源投入节省 50%；拉卡拉统一风控日志服务器数量下降 52%、查询从 15 秒降到

前端

日志与可观测平台用Apache Doris替换Elasticsearch，可依据行业场景实现显著降本增效：金融业聚焦多源归一，如中信银行信用卡中心CPU降至1/4、磁盘减58%、查询提速38%；互联网侧重存储收缩，网易灵犀办公落盘从100TB降至30TB；AI场景提升吞吐与热数据管理，MiniMax计算资源降40%、P95小于3秒。迁移需评估数据量、双轨运行及检索语义适配，冷热分层与资源隔离是共性关键路径。

Elasticsearch 

弹性伸缩

对象存储

日志服务

数据存储

代码解释

数据库

服务器

云托管

云原生

多云

HBase

SaaS

2026上云采购 | AI焕新·智启新局

tchoused

日志服务CLS新用户首单0.8折起！


文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

日志与可观测平台用Apache Doris替换Elasticsearch，可依据行业场景实现显著降本增效：金融业聚焦多源归一，如中信银行信用卡中心CPU降至1/4、磁盘减58%、查询提速38%；互联网侧重存储收缩，网易灵犀办公落盘从100TB降至30TB；AI场景提升吞吐与热数据管理，MiniMax计算资源降40%、P...

金融、互联网、AI 三行业日志平台迁移：ES 替换的路径结构与收益构成-腾讯云开发者社区-腾讯云

金融、互联网、AI 三行业日志平台迁移：ES 替换的路径结构与收益构成

金融、互联网、AI 三行业日志平台迁移：ES 替换的路径结构与收益构成

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐