产品概述

最近更新时间:2022-06-07 11:36:19

云数据仓库 for Apache Doris(Cloud Data Warehouse for Apache Doris)基于业内领先的 OLAP 数据库 Apache Doris 内核构建,为您提供方便易用、灵活稳定的实时数据仓库服务。只需要几分钟,便可完成数据仓库的搭建,简单轻松地实现对海量数据的实时查询分析。
云数据仓库 for Apache Doris 基于 Apache Doris(Apache、Apache Doris 以及相关的开源产品的名称都归属于 Apache 软件基金会)的内核开发,可用于 OLAP、Hadoop 数仓加速、在线实时数仓、交互式分析和完整数据仓库等应用。适用于高并发的点查询、高吞吐的即席查询、BI 报表分析和实时数据查询等场景。

产品功能特点

MySQL 协议兼容

Doris 提供兼容 MySQL 协议的连接接口,用户不必再单独部署新的客户端库或者工具,可以直接使用 MySQL 的相关库或者工具。

大查询高吞吐

利用 MPP 架构的优势,使得查询能够分布式的在多个节点并行执行,充分利用集群整体计算资源,提高大查询的吞吐能力。

高并发小查询

通过使用分区裁剪,预聚合,谓词下推,向量化执行,异步 RPC 等技术,Doris 可以支持高并发点查询场景。100台集群可达10w QPS。

支持数据更新和删除

Doris 支持按主键删除和更新数据。能够方便的从 MySQL 等事务数据库中同步实时更新的数据。

高可用和高可靠

Doris 中的数据和元数据都默认使用3副本存储。在少数节点宕机的情况下,依然可以保证数据的可靠性。Doris 会自动检查和修复损坏的数据,并将请求自动路由到健康的节点,7*24 小时保证数据的可用性。

水平扩展和数据均衡

FE 节点和 BE 节点都可以进行横向扩展。用户可以根据计算和存储需要,灵活的对节点进行扩展。其中 BE 节点在扩展后,Doris 会自动根据节点间的负载情况,进行数据分片的自动均衡,无需人工干预。

物化视图和预聚合引擎

Doris 支持通过物化视图或上卷表的形式对数据预聚合计算后的结果进行存储,从而加速部分聚合类场景的查询效率。同时,Doris 能够保证物化视图和基础表之间的数据一致性,从而使得物化视图会查询和导入完全透明。Doris 内部会自动根据用户的查询语句,选择合适的物化视图进行数据摄取。

丰富的数据导入功能和导入事务保证

Doris 支持多种导入方式。不仅支持近实时的流式导入,也支持大批量的数据导入。同时还可以直接订阅和消费 kafka 中的数据。Doris 自身提供导入事务支持,配合导入 Label 机制,可以保证导入数据的不重不丢和原子一致性。

高效的列式存储引擎和一级二级索引

Doris 采用自研的列式存储格式。存储采用字典、RLE 等多种编码方式,配合列式存储的特点,提供了非常高的数据压缩比,帮助用户节省存储空间。同时,存储格式上提供包括 Min/Max 智能索引、稀疏索引、布隆过滤器、bitmap 倒排索引等多种查询加速技术,进一步提升了查询效率。

在线表结构修改能力

支持在已导入数据的情况下修改表结构,包括增加列、删除列、修改列类型和改变列顺序等操作。变更操作不会影响当前数据 库的查询和写入操作。

生态支持和周边组件的兼容能力

Doris 可以方便的导入存储在对象存储、HDFS 或 Kafka 中的数据,也可以通过 Flink,Spark 直接将 ETL 后的数据写入 Doris 中。用户也可以通过 Spark 来直接查询 Doris 中存储的数据。而 Doris 也可以通过 ODBC 读取包括 MySQL、PostgreSQL、SQLServer、Oracle 等外部数据源的数据。同时,Doris 也可以读取 Elasticsearch 中存储的数据,为 Elasticsearch 提供强大的分布式 SQL 查询层。

目录