## 前言

数据中台是中台架构中投入最大、见效最慢的部分，但也是数据驱动业务的核心。本篇概述数据中台的全链路架构，为后续深入各层打好基础。

---

## 一、数据中台全景架构

```
┌──────────────────────────────────────────────────────────────┐
│                     数据应用层                               │
│   BI 报表 / 数据大屏 / 推荐引擎 / 风控系统 / 用户画像       │
└──────────────────────┬───────────────────────────────────────┘
                       │ 数据 API（OneService）
┌──────────────────────┴───────────────────────────────────────┐
│                     数据服务层                               │
│   统一 API 网关 / 数据集市 / 指标库 / 元数据查询            │
└──────────────────────┬───────────────────────────────────────┘
                       │
┌──────────────────────┴───────────────────────────────────────┐
│                     数据计算层                               │
│   ┌─────────────────┐    ┌─────────────────┐               │
│   │ 离线计算         │    │ 实时计算         │               │
│   │ Hive / Spark     │    │ Flink / Spark    │               │
│   │ ETL / 数仓建模   │    │ 流处理 / 实时数仓 │               │
│   └─────────────────┘    └─────────────────┘               │
└──────────────────────┬───────────────────────────────────────┘
                       │
┌──────────────────────┴───────────────────────────────────────┐
│                     数据存储层                               │
│   ┌─────────────────┐    ┌─────────────────┐               │
│   │ 数据湖           │    │ 数据仓库         │               │
│   │ HDFS / S3        │    │ Hive / ClickHouse│               │
│   │ ODS 原始数据     │    │ DWD/DWS/ADS     │               │
│   └─────────────────┘    └─────────────────┘               │
└──────────────────────┬───────────────────────────────────────┘
                       │
┌──────────────────────┴───────────────────────────────────────┐
│                     数据采集层                               │
│   ┌─────────────────────────────────────────────────┐        │
│   │ Canal（MySQL CDC）→ Kafka                       │        │
│   │ Flume（日志采集）→ Kafka                        │        │
│   │ Flink CDC（实时同步）→ Kafka                    │        │
│   │ HTTP/SDK（业务埋点）→ Kafka                     │        │
│   │ Sqoop（批量同步）→ HDFS                        │        │
│   └─────────────────────────────────────────────────┘        │
└──────────────────────────────────────────────────────────────┘
                       │
┌──────────────────────┴───────────────────────────────────────┐
│                     数据治理层（横切）                       │
│   元数据管理 / 数据血缘 / 数据质量 / 数据安全 / 数据标准    │
└──────────────────────────────────────────────────────────────┘
```

---

## 二、各层职责

### 1. 数据采集层

```
职责：把各业务系统的数据汇聚到数据中台

  数据来源：
  ├── 关系型数据库（MySQL/Oracle）→ Canal/Flink CDC → Kafka
  ├── 日志文件（应用/访问日志）→ Flume/Filebeat → Kafka
  ├── 业务埋点（用户行为）→ SDK → Kafka
  ├── 外部 API → 定时拉取 → Kafka
  └── 文件数据 → Sqoop → HDFS
```

### 2. 数据存储层

```
职责：统一存储和管理数据

  存储分层：
  ├── ODS（原始数据层）→ 原始数据，不做处理
  ├── DWD（明细数据层）→ 清洗后的明细数据
  ├── DWS（汇总数据层）→ 按主题汇总
  ├── ADS（应用数据层）→ 面向应用的指标
  └── DIM（维度层）→ 公共维度数据

  存储引擎：
  ├── HDFS / S3 → 大文件、历史数据
  ├── Hive → 数仓存储 + SQL 查询
  ├── ClickHouse → 实时分析
  ├── HBase → 高频点查
  ├── Elasticsearch → 全文检索
  └── Redis → 实时指标缓存
```

### 3. 数据计算层

```
职责：数据加工、建模、分析

  离线计算（天级/小时级）：
  ├── Hive SQL → 数仓 ETL
  ├── Spark → 复杂数据处理
  └── MapReduce → 传统批处理（已少用）

  实时计算（秒级/毫秒级）：
  ├── Flink → 流处理、实时数仓
  ├── Spark Streaming → 微批处理
  └── Kafka Streams → 轻量流处理
```

### 4. 数据治理层

```
职责：保证数据可用、可信、安全

  治理内容：
  ├── 元数据管理 → 数据在哪里、含义是什么
  ├── 数据血缘 → 数据从哪来、到哪去
  ├── 数据质量 → 数据是否准确、完整、及时
  ├── 数据安全 → 敏感数据脱敏、权限控制
  ├── 数据标准 → 统一命名、口径、格式
  └── 数据生命周期 → 数据保留多久、何时清理
```

### 5. 数据服务层

```
职责：以 API 形式对外提供数据

  服务形式：
  ├── 查询 API → 按条件查询数据
  ├── 聚合 API → 跨表聚合查询
  ├── 指标 API → 预计算的指标查询
  └── 推送 API → 数据变更主动推送

  核心能力：
  ├── 统一入口 → OneService 统一 API 网关
  ├── 权限控制 → 按调用方授权
  ├── 限流 → 防止恶意调用
  ├── 缓存 → 热点数据缓存
  └── 监控 → API 调用统计
```

---

## 三、数据仓库分层模型

```
数据从 ODS 到 ADS 的流转：

  原始数据        清洗明细         主题汇总        应用指标
  ──────────     ──────────     ──────────     ──────────
  
  ODS 层          DWD 层          DWS 层          ADS 层
  ┌──────┐      ┌──────┐       ┌──────┐       ┌──────┐
  │原始   │ →   │清洗   │ →    │汇总   │ →    │指标   │
  │MySQL │      │去重   │      │聚合   │      │报表   │
  │日志  │      │标准化 │      │主题   │      │推荐   │
  │埋点  │      │补全   │      │维度   │      │风控   │
  └──────┘      └──────┘       └──────┘       └──────┘
  
  保留全量      可追溯          可复用          面向应用
  历史归档      统一格式        按主题组织      直接消费
```

### 分层原则

```
ODS → DWD：
  - 数据清洗（去空值、去脏数据）
  - 格式统一（日期格式、枚举值）
  - 字段标准化（命名规范）

DWD → DWS：
  - 按主题聚合（用户主题、订单主题）
  - 按时间聚合（日/周/月）
  - 按维度聚合（地区/品类/渠道）

DWS → ADS：
  - 面向应用计算（GMV、DAU、转化率）
  - 结果预计算（直接供 API 查询）
  - 不再保留明细
```

---

## 四、Lambda vs Kappa 架构

### Lambda 架构

```
              ┌─────────────────────────────────────┐
              │           数据来源                  │
              └──────────────┬──────────────────────┘
                             │
              ┌──────────────┴──────────────────────┐
              │            Kafka                    │
              └──────┬──────────────────┬───────────┘
                     │                  │
           ┌─────────┴──────┐  ┌───────┴──────────┐
           │  批处理层       │  │  实时处理层      │
           │  (Hive/Spark)   │  │  (Flink)         │
           │  离线 ETL       │  │  实时计算         │
           └─────────┬──────┘  └───────┬──────────┘
                     │                  │
           ┌─────────┴──────────────────┘
           │        Serving 层
           │  (HBase/ClickHouse/Redis)
           └──────────┬──────────┘
                      │
              ┌───────┴────────┐
              │   数据应用     │
              └────────────────┘

  问题：
  - 两套代码（批+流）维护成本高
  - 数据口径可能不一致
```

### Kappa 架构

```
              ┌─────────────────────────────────────┐
              │           数据来源                  │
              └──────────────┬──────────────────────┘
                             │
              ┌──────────────┴──────────────────────┐
              │            Kafka                    │
              │       （保留全量历史）              │
              └──────────────────┬──────────────────┘
                                 │
                    ┌────────────┴───────────┐
                    │   Flink 流处理          │
                    │   （唯一的计算引擎）     │
                    └────────────┬───────────┘
                                 │
                    ┌────────────┴───────────┐
                    │   Serving 层            │
                    └────────────┬───────────┘
                                 │
                    ┌────────────┴───────────┐
                    │   数据应用              │
                    └────────────────────────┘

  优势：
  - 只有一套代码
  - 数据口径一致
  - 实时性更好
```

---

## 五、技术选型矩阵

| 层 | 组件 | 选型 | 理由 |
|----|------|------|------|
| 采集 | CDC | Flink CDC / Canal | 实时同步 |
| 采集 | 日志 | Flume / Filebeat | 成熟稳定 |
| 采集 | 消息 | Kafka | 高吞吐 |
| 存储 | 数据湖 | HDFS / S3 | 海量存储 |
| 存储 | 数仓 | Hive | SQL 查询 |
| 存储 | 实时分析 | ClickHouse | 高性能 OLAP |
| 计算 | 离线 | Spark | 通用计算引擎 |
| 计算 | 实时 | Flink | 流处理标准 |
| 治理 | 元数据 | Apache Atlas | 开源、Hadoop 集成 |
| 治理 | 质量 | Great Expectations | Python 生态 |
| 服务 | API | 自研 OneService | 定制化 |

---

## 六、建设路线图

```
阶段 1（3 月）：数据采集 + 存储基础
  ├── 部署 Kafka 集群
  ├── 部署 HDFS / S3
  ├── Canal 接入核心 MySQL
  ├── Flume 采集应用日志
  └── ODS 层建设

阶段 2（3 月）：数据仓库建设
  ├── 部署 Hive + Spark
  ├── 设计数仓分层模型
  ├── DWD/DWS 层 ETL 开发
  ├── 核心指标计算
  └── ADS 层建设

阶段 3（3 月）：实时计算
  ├── 部署 Flink 集群
  ├── 实时数仓建设
  ├── 实时指标计算
  └── ClickHouse 部署

阶段 4（2 月）：数据治理
  ├── 元数据管理
  ├── 数据血缘追踪
  ├── 数据质量监控
  └── 数据标准制定

阶段 5（2 月）：数据服务
  ├── OneService API 平台
  ├── 数据集市
  ├── 权限控制
  └── API 监控
```

---

## 要点回顾

- 数据中台五层：采集 → 存储 → 计算 → 治理 → 服务
- 数仓分层：ODS → DWD → DWS → ADS + DIM
- Lambda 架构：批+流双链路，Kappa 架构：流处理统一
- 治理是横切关注点，贯穿全链路
- 数据服务化（OneService）是数据中台的核心价值
- 建设周期长（1-2 年），需分阶段交付

---

## 下一篇预告

下一篇 **【中台·数据篇】数据采集层：Flume、Canal 与 Flink CDC 实时数据接入** 将深入讲解数据采集。

数据中台是中台架构中投入最大、见效最慢的部分，但也是数据驱动业务的核心。本篇概述数据中台的全链路架构，为后续深入各层打好基础。

【中台·数据篇】数据中台概览：采集、存储、计算、治理全链路解析

研发部经理

大数据

架构设计

运维

数据中台全链路架构解析：涵盖数据采集、存储、计算、治理与服务五大核心层，详解ODS-DWD-DWS-ADS数仓分层模型，对比Lambda与Kappa架构优劣，提供技术选型矩阵及分阶段建设路线图，助力企业数据驱动业务转型。

2026上云采购 | AI焕新·智启新局

tchousec

oceanus

cngw

dmask

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

【中台·数据篇】数据中台概览：采集、存储、计算、治理全链路解析-腾讯云开发者社区-腾讯云

【中台·数据篇】数据中台概览：采集、存储、计算、治理全链路解析

【中台·数据篇】数据中台概览：采集、存储、计算、治理全链路解析

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐