首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Apache Daris向量化

Apache Daris向量化

作者头像
yzsDBA
发布2022-04-27 15:26:54
5940
发布2022-04-27 15:26:54
举报

Apache Daris是现代MPP分析数据库。号称可提供sub-second级别的查询和高效的实时数据分析。凭借分布式架构,支持高达10PB级别的数据集。其关键特性:

这里我们关注其向量化执行引擎。通过学习Doris的分享PPT来了解其向量化引擎。首先是向量化。

向量化是将一次一个值的计算转换成一次对一组值的运算过程。CPU角度来说,现代CPU支持SIMD指令,具有128位寄存器的可以保持4个32数,并进行一次计算,这样就比一次执行一个指令快4倍。从数据库角度来说,将next tuple变成next batch也就是一次一个元组变成一次一组元组,并且该元组以列式存储,算子在列上执行。

Doris怎么实现向量化呢?通过3方面:列式存储、向量化函数计算框架、向量化算子。

向量化计算框架,传统ab列都需要到内存参与abs的计算。而向量化的对b列进行abs后过滤掉b列,生成需要的a,abs(b)列。

向量化计算优点:不相关列不参与计算,使得cache更加亲和。向量化计算解决的就是下面论文提出的问题。

指令v开头的是向量化后的指令。

Doris基于SSE,X86架构最通用的向量化指令。

Doris的向量化

Doris向量化的未来规划

文献

https://doris.apache.org/

https://www.bilibili.com/video/BV11L4y1E7Ad?spm_id_from=444.41.0.0

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2022-03-27,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 yanzongshuaiDBA 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 文献
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档