数据库中间件VerdictDB与AQP解读

核心算法是AQPApproximate Query Processing 近似查询处理

AQP已经有30多年的历史了

近似查询在近些年是个比较热门的话题,今年SIGMOD上,Verdict DB带来了自己的一个解决方案。鉴于各大数据库厂商对于修改内核支持近似查询的动作不是很快,他们提出了一个基于采样来建立采样表,然后将查询改写为对于采样表的查询,最后再把结果做一定的处理,例如对于sum的操作会做相应的scale等等,把近似查询结果返回。这个方案是以一个中间件的形式,对接各个数据库,创建采样表,从而支持一些查询的改写可以去做近似查询。基本的架构如下图所示:

下面是Verdict DB的简单说明

对于SQL惊醒重写,已中间件的形式与原始数据库交互,将查询结果返回客户端

提速效果并没有传说中的200倍,期待park的继续优化

其实,AQP这项技术的并非首次使用

伯克利的实验室的BlinkDB,不过项目很多年没有更新了

Presto也是曾经近似处理基本的聚集查询,也是近似查询

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180718A1PR1M00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

同媒体快讯

扫码关注云+社区

领取腾讯云代金券