## 引言

现代数据处理在多维度面临严峻挑战，一方面，数据量的持续增长致使传统存储成本居高不下，非结构化数据所占比例日益攀升，进一步加重了存储负担，且数据质量问题推高了存储和清洗成本；另一方面，企业内部往往存在多套系统，数据难以集成，这对数据分析的成本和时效性也提出了更高的要求。

Apache Doris 作为一款具备高性能的实时分析数据库，拥有湖仓一体的能力。当它与 MinIO 这样高性能且 S3 兼容的对象存储系统相结合时，能够构建出一个高效且具备低成本特性的数据分析系统。本文将介绍基于 Apache Doris 和 MinIO 的存算分离部署教程与使用实践。

## 为什么选择 Apache Doris 和 MinIO

Apache Doris 是一款基于 MPP 架构的高性能、实时分析型数据库。它以高效、简单和统一的特性著称，能够在亚秒级的时间内返回海量数据的查询结果。Doris 具备以下优势：

- **高性能**：在海量数据下实现亚秒级查询响应，支持高并发点查询和复杂分析。
- **实时分析**：支持实时数据导入和查询，适合需要即时洞察的业务场景。
- **易用性**：设计简单，操作和维护成本低。
- **可扩展性**：通过 MPP 架构实现水平扩展，处理大规模数据和高并发请求。
- **多场景支持**：适用于报表分析、即席查询、用户画像、日志检索等多种场景。
- **强大集成性**：可与 MySQL、PostgreSQL、Hive、Flink 等数据源和工具无缝集成。
- **活跃社区**：拥有超过 600 名贡献者和全球 5000 多家企业的生产环境应用，得到 TikTok、Baidu 等巨头的验证。

与此同时，Doris 还支持存算一体和存算分离两种部署模式，在存算一体模型下，Doris 会在内部存储数据，而在存算分离模式下，Doris 可以选择第三方存储系统，如 MinIO。

![为什么选择 Apache Doris 和 MinIO.png](https://developer.qcloudimg.com/http-save/yehe-10695849/09401ba315e1ac3f19865f68764e348b.png)

MinIO 是一个开源、分布式对象存储系统，专为高性能和云原生工作负载设计。其主要优势包括：

- **高性能**：Minio 提供快速的数据访问，满足实时分析需求。
- **可扩展性**：支持水平扩展，能够轻松应对数据量增长。
- **成本效益**：作为开源软件，Minio 可在本地部署，避免云存储的高昂费用。
- **S3 兼容性**：与 Amazon S3 API 完全兼容，易于与现有工具和应用集成。
- **分布式架构**：通过擦除码（Erasure Coding）技术，提供高可用性和数据冗余。
- **灵活部署**：支持裸金属、容器（如 Kubernetes）或云平台部署，适应多种环境。

这些特性使 Minio 成为 Apache Doris 存算分离架构的理想存储后端。

## 部署指南

### 01 规划

在我们进行部署之前，需要进行容量规划，如果你部署的是在生产环节，那么你应该考虑使用更高规格配置的机器，并且将各个组件独立部署。

软件版本准备：

![规划-1.png](https://developer.qcloudimg.com/http-save/yehe-10695849/fbe31907410bb8c8d0f076569b49f99f.png)

服务器规划：

![规划-2.png](https://developer.qcloudimg.com/http-save/yehe-10695849/d9fccb32e7c499599a8cf471fc66fc9c.png)

### 02 准备工作

1. 操作系统参数修改
    ```Bash
    swapoff -a
    
    cat >> /etc/sysctl.conf << EOF
    vm.max_map_count = 2000000
    EOF
    
    # Take effect immediately
    sysctl -p
    
    vi /etc/security/limits.conf 
    * soft nofile 1000000
    * hard nofile 1000000
	```

2. 安装必要的命令
    ```Bash
	apt update
	apt install -y net-tools
	apt install -y cron
	apt install -y iputils-ping
	```

### 03 部署 MinIO

1. 下载 MinIO：访问[ MinIO 下载页面](https://min.io/open-source/download?platform=linux&product=minio-client&package=bin)，选择适合的版本和操作系统。
    ```Bash
    wget https://dl.min.io/server/minio/release/linux-amd64/minio
    chmod +x minio
    ```

2. 在每个节点上启动 MinIO 服务器：
    ```Bash
      export MINIO_REGION_NAME=us-east-1
      export MINIO_ROOT_USER=minio
      export MINIO_ROOT_PASSWORD=minioadmin
      mkdir -p /mnt/disk{1..4}/minio
      nohup minio server --address :9000 --console-address :9001 http://172.20.1.{2...5}:9000/mnt/disk{1...4}/minio 2>&1 &
    ```
  
3. 配置 MinIO 客户端：
    ```Bash
      wget https://dl.min.io/client/mc/release/linux-amd64/mc
      chmod +x mc
      ./mc alias set myminio http://127.0.0.1:9000 minio minioadmin
      ./mc mb myminio/doris
   ```
> **注意**：如果 MinIO 部署在本地网络且未启用 TLS，需在 endpoint 中显式添加“http://”。

### 04 部署 Doris Manager

1. 下载 Doris Manager
    ```Bash
      wget https://enterprise-doris-releases.oss-accelerate.aliyuncs.com/doris-manager/velodb-manager-25.0.0-x64-bin.tar.gz
    ```
2. 解压并启动服务
    ```Bash
    tar -zxf velodb-manager-25.0.0-x64-bin.tar.gz
    cd velodb-manager-25.0.0-x64-bin/webserver/bin
    bash start.sh
    ```
3. 服务启动后，通过浏览器访问 *http://<Doris-Manager-IP>:8004* 即可进入管理界面并根据指引创建账号
   
   ![部署 Doris Manager.png](https://developer.qcloudimg.com/http-save/yehe-10695849/e18f472de24f949442a8559f1554ab95.png)

### 05 部署 Doris

1. 下载 Doris
   ```Bash
   wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-3.0.6.2-bin-x64.tar.gz
      mv apache-doris-3.0.6.2-bin-x64.tar.gz /opt/downloads/doris
   ```
2. 进入主界面，根据指引创建集群
   
   ![部署 Doris-1.png](https://developer.qcloudimg.com/http-save/yehe-10695849/b3fb6e058c2d49251a5370316ae52638.png)

3. 选择指定版本并设置 root 密码
   
   ![部署 Doris-2.png](https://developer.qcloudimg.com/http-save/yehe-10695849/77e5a73bb42a09652cde319a87f978b4.png)

4. 填写 MinIO 信息
   
   ![部署 Doris-3.png](https://developer.qcloudimg.com/http-save/yehe-10695849/571e9a2ac1580bb891471cc45c2b6502.png)

5. 填写节点信息
   1. 分别在每个节点执行以下命令
      ```Bash
      wget http://172.20.1.2:8004/api/download/deploy.sh -O deploy_agent.sh && chmod +x deploy_agent.sh && ./deploy_agent.sh
      ```
   2. 在界面上填写节点 IP
      ![部署 Doris-4.png](https://developer.qcloudimg.com/http-save/yehe-10695849/d32211574b0565296daf80e54a351175.png)

6. 配置 FE 节点
   
   ![部署 Doris-5.png](https://developer.qcloudimg.com/http-save/yehe-10695849/c3e5cd914491539e4ed7d3e0a2c1a366.png)
7. 配置 BE 节点
   
   ![部署 Doris-6.png](https://developer.qcloudimg.com/http-save/yehe-10695849/d323b87566dc31d0f5e4af9e256163de.png)

8. 部署你的集群
   
   ![部署 Doris-7.png](https://developer.qcloudimg.com/http-save/yehe-10695849/231860da4256cd8c19da9cbc756174dd.png)
   
   ![部署 Doris-8.png](https://developer.qcloudimg.com/http-save/yehe-10695849/4910780f986b72fc7a55bb5199c0baef.png)

## 开始查询

### 01 准备数据

1. 进入查询页面

   ![准备数据-1.png](https://developer.qcloudimg.com/http-save/yehe-10695849/261d5a92d9a255931667893d008fe48d.png)

   ![准备数据-2.png](https://developer.qcloudimg.com/http-save/yehe-10695849/21b9ce1f5ba1605d910e823527069c19.png)

2. 创建 Doris 表：

   ```sql
   CREATE DATABASE IF NOT EXISTS `test`;
   USE `test`;
   CREATE TABLE `amazon_reviews` (  
     `review_date` int(11) NULL,  
     `marketplace` varchar(20) NULL,  
     `customer_id` bigint(20) NULL,  
     `review_id` varchar(40) NULL,
     `product_id` varchar(10) NULL,
     `product_parent` bigint(20) NULL,
     `product_title` varchar(500) NULL,
     `product_category` varchar(50) NULL,
     `star_rating` smallint(6) NULL,
     `helpful_votes` int(11) NULL,
     `total_votes` int(11) NULL,
     `vine` boolean NULL,
     `verified_purchase` boolean NULL,
     `review_headline` varchar(500) NULL,
     `review_body` string NULL
   ) ENGINE=OLAP
   DUPLICATE KEY(`review_date`)
   COMMENT 'OLAP'
   DISTRIBUTED BY HASH(`review_date`) BUCKETS 16
   PROPERTIES (
     "compression" = "ZSTD"
   );
   ```

3. 下载亚马逊评论数据：
   ```Bash
   wget https://datasets-documentation.s3.eu-west-3.amazonaws.com/amazon_reviews/amazon_reviews_2010.snappy.parquet
   ```

4. 导入数据到 Doris：
   ```Bash
   curl --location-trusted -u root:<your password> \
   -T amazon_reviews_2010.snappy.parquet \
   -H "format:parquet" \
   http://127.0.0.1:8030/api/test/amazon_reviews/_stream_load
   ```

5. 登录 MinIO 控制台，查看数据大小
   ![登录 MinIO 控制台.png](https://developer.qcloudimg.com/http-save/yehe-10695849/9f2fced00966dc7c5eed031dbeb8f510.png)


### 02 查询

```sql
SELECT
    product_id,
    AVG(product_title),
    AVG(star_rating) AS rating,
    COUNT() AS count
FROM
    amazon_reviews
WHERE
    review_body LIKE '%is super awesome%'
GROUP BY
    product_id
ORDER BY
    count DESC,
    rating DESC,
    product_id
LIMIT 5;
```

## 总结

在导入相同数据（3 副本配置）方面，相较于存算一体模式 3.98 GB 的存储占用，采用 MinIO 的存算分离模式仅占用 1.3 GB，**存储占用是存算一体模式的 1/3**；与此同时，在数据导入速度方面，采用 MinIO 仅需 15 秒，而存算一体模式需要 61 秒，**导入速度快 4 倍**。

通过结合 MinIO 和 Apache Doris 的存算分离架构，用户可以充分利用 Minio 的高性能、低成本对象存储和 Doris 的实时分析能力。这种架构不仅提升了系统的可扩展性和灵活性，还显著降低了存储成本，同时确保了业务负载的隔离和稳定性。希望本教程能帮助您快速部署并体验这一高效的数据处理解决方案。

现代数据处理在多维度面临严峻挑战，一方面，数据量的持续增长致使传统存储成本居高不下，非结构化数据所占比例日益攀升，进一步加重了存储负担，且数据质量问题推高了存储和清洗成本；另一方面，企业内部往往存在多套系统，数据难以集成，这对数据分析的成本和时效性也提出了更高的要求。

更高效的数据处理解决方案：基于 MinIO 部署 Apache Doris 存算分离版本实践

Apache Doris 作为一款具备高性能的实时分析数据库，拥有湖仓一体的能力。当它与 MinIO 这样高性能且 S3 兼容的对象存储系统相结合时，能够构建出一个高效且具备低成本特性的数据分析系统。本文将介绍基于 Apache Doris 和 MinIO 的存算分离部署教程与使用实践。

编程语言

开发工具

Apache Doris与MinIO构建高效存算分离数据分析系统，实现亚秒级查询响应。Doris提供实时分析能力，MinIO作为低成本对象存储，存储占用仅为存算一体模式的1/3，数据导入速度快4倍。教程详细介绍了部署流程和使用实践，帮助用户快速搭建高性能、低成本的数据处理平台。

分析型数据库

结构化数据

数据冗余

对象存储

PostgreSQL

Kubernetes

数据库

云原生

服务器

云存储

容器

MySQL

OLAP

Hive

腾讯云大数据特惠专场


tchoused

对象存储COS新用户低至1元！


AI驱动 智领未来

tencentdb-catalog

4核4G3M云服务器 新用户低至38元/年！

腾讯云BI新客户首次购买9.9元起！


文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

更高效的数据处理解决方案：基于 MinIO 部署 Apache Doris 存算分离版本实践-腾讯云开发者社区-腾讯云

更高效的数据处理解决方案：基于 MinIO 部署 Apache Doris 存算分离版本实践

更高效的数据处理解决方案：基于 MinIO 部署 Apache Doris 存算分离版本实践

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐