当 Apache Doris 遇见 Paimon ，直接让小米集团 6 倍性能飞跃

❝在小米集团的数据中心里，一场静悄悄的架构升级正在上演。 当Apache Doris这个"分析狂魔"遇上Apache Paimon这个"湖储大师"，产生的不仅仅是1+1=2的简单叠加，而是远远 >2 ...

割裂困境的挑战

小米的数据佬们曾经面临一个让人头疼的现实：为了满足不同业务场景的需求，他们不得不维护着一个复杂到令人窒息的技术栈。

想要T+0实时分析用户行为？得用Druid。

需要处理海量T+1数据？Presto+Iceberg走起。

要做批量查询分析？Spark上场

...

每个系统都有自己的"脾气"，数据在不同系统间流转像在玩"传话游戏"，不仅效率低下，还容易出错。

每条链路拥有各自的建模规范、运维体系和权限机制，导致平台管理复杂度呈指数级增长。

用户面对的是多个入口、多套操作标准的混乱局面。这种架构割裂不仅消耗了大量的管理资源，也成为了OLAP系统在高并发、大规模实时场景下性能突破的关键瓶颈。

Apache Doris + Paimon 在小米的三次"深度对话"

小米的解决方案并不是简单地把两个优秀的Apache开源项目放在一起，而是进行了深度的架构重构：

计算引擎：Presto、Druid、Doris、Spark -> Doris、Spark

存储格式：Iceberg、Paimon、Doris、Druid -> Doris、Paimon

Apache Paimon作为数据湖的代表，擅长的是海量数据的低成本存储和多引擎兼容。它可以容纳PB级别的数据，支持流批一体的处理模式。但Paimon的"温和性格"也带来了一个问题：在面对高频、复杂的查询时，它显得有些"力不从心"。

Apache Doris则是完美互补。它像是一台"高性能跑车"，专为速度而生。它的向量化执行引擎、分布式并行计算能力，以及针对OLAP场景优化的存储格式，让它在处理复杂聚合查询时表现出色。但Doris的"高性能"也意味着相对较高的存储成本。

小米的创新在于，他们没有让这两个系统各自为政，而是让它们进行了三次"深度对话"。

对话一：让Doris"接管"Paimon的聚合计算

传统的做法是让Paimon自己处理聚合计算，但小米发现了一个关键问题：Paimon SDK在处理多文件排序合并时采用单线程模式，这在高并发场景下成为了明显的性能瓶颈。

图片

小米的解决方案颇具创新性：他们让Doris直接"越过"Paimon的SDK，用自己的原生Parquet Reader直接读取数据文件，然后利用Doris强大的分布式Hash算子进行聚合计算（无需排序步骤）。

这好比是让一个专业的"计算专家"来处理原本由"存储管家"负责的计算任务。

结果是惊人的：聚合查询时间从40秒直接降到8秒，性能提升近5倍。

除了数字上的视觉改善，也意味着业务决策的实时性得到了质的提升。

对话二：快照级增量物化视图的创新实践

以往Doris的物化视图更新通常以分区为单位，但这种粗粒度的更新方式在某些场景下显得"用力过猛"。

图片

小米开发了基于快照级别的增量物化视图功能（👍已贡献给了Apache Doris社区），例如：

-- 可以仅读取指定 snapshot 区间的增量数据。
SELECT * FROM paimon_table@incr('startSnapshotId'='0', 'endSnapshotId'='5')

这个功能的巧妙之处在于，它可以精确地读取指定快照区间的增量数据，避免了全量计算的资源浪费。直接是给数据更新装上了"精准制导系统"，只更新真正需要更新的部分!

对话三：HDFS读取的"长尾优化"

在分布式存储环境中，网络抖动和负载不均是常见问题。

小米通过两个看似简单但效果显著的优化，解决了HDFS读取延迟不稳定的问题：

图片

首先，他们将HDFS的dfs.client.socket-timeout超时阈值从默认的60秒大幅降低到100毫秒，让系统能够快速进行重试切换。

其次，利用Doris的本地缓存能力，将热点数据缓存在高速磁盘上。

图片

这两个优化的组合效果是惊人的：在高并发场景下，查询延迟降低了25%到300%，整体查询并发能力达到了Presto的5倍。

最终，小米通过Apache Doris + Paimon的"深度对话"，实现了：

1. 查询平均延迟从60秒降至10秒，性能提升6倍

2. 高并发场景下查询延迟降低25%到300%

3. 整体查询并发能力达到Presto的5倍

4. 有效减少计算资源

值得一提的是，小米并没有将这些创新成果据为己有，而是全部回馈给了Apache Doris社区👍

结语

从技术角度看，小米的实践证明了一个重要观点：在大数据时代，最优的解决方案往往不是选择单一的"最强"技术，而是让不同技术发挥各自优势，形成协同效应。

Apache Doris + Paimon的融合，为整个行业提供了一个可参考的湖仓一体企业实践范本。

真正的技术创新不在于发明全新的轮子，而在于让现有的优秀技术产生"化学反应"，创造出1+1>2的价值。

各位看官觉得呢？