机器之心报道
机器之心编辑部
刚刚,数据管理顶会 VLDB 公布了今年的 EA&B 最佳论文奖项,本次的获奖论文为西蒙弗雷泽大学和腾讯合作的《Are We Ready for Learned Cardinality Estimation(通过机器学习的基数估计技术成熟了吗?)》。
VLDB 是数据管理领域两大顶会之一,面向数据管理和数据库研究人员、供应商、从业人员、应用程序开发人员等群体。VLDB 2021 大会以线上、线下两种方式举行,于当地时间 8 月 16 日在丹麦哥本哈根开幕。EA&B(Experiment, Analysis and Benchmark,实验、分析与基准)最佳论文奖每年颁发一次。
基数估计是查询优化中一个基本但长期未解决的问题。在获奖的这篇论文中,研究者提出了一个前瞻性的问题:「我们是否准备好在生产中部署这些 learned 的基数模型?」研究包括三个主要部分:
这篇论文的合著者主要来自西蒙弗雷泽大学王健楠团队。王健楠是SFU计算机系的副教授,2013 年在清华大学获得博士学位,2013 年 - 2015 年间在加州大学伯克利分校AMPLab进行博士后阶段的研究工作。所领导开发的数据准备工具dataprep.ai 目前已经有近 20 万的下载量。他所获奖励包括:加拿大计算机协会授予的杰出青年奖 (2020),IEEE授予的数据工程新星奖(2018),ACM SIGMOD 最佳演示奖(2016),CCF最佳博士论文奖(2013),Google PhD Fellowship (2011)。他是VLDB 2023大会共同主席,VLDB 2021副主编。
王健楠表示:「learned methods 是目前数据库很火的领域,但是目前的研究工作太关心模型的准确度了,而没有考虑其它把他部署到实际系统会遇到的挑战。我们这篇论文其实想给这个领域的研究中心扭转过来,让大家更多的关心如何降低模型的 cost,以及让模型更可信。」
ML for DB(ML4DB)是近年来很热门的领域,在今年的 VLDB 会议上,该研究方向分别有 1 个 Keynote、1 个 Workshop、1 个 Tutorial 和数篇相关论文。但相对于其他领域来说,ML4DB 是一个新领域,基本是从 SIGMOD 2018 的 MIT 论文《The Case for Learned Index Structures》开始受到关注的。从研究现状来看,通过机器学习的基数估计方法现阶段还无法投入实用。
图灵奖得主 David Patterson 曾说过「For Better or Worse, Benchmarks Shape a Field.」 ImageNet 是帮助图片识别问题前进了一大步的 benchmark,目前 ML4DB 也在等待这样的 benchmark。「我们的论文沿这个方向走出了第一步,这可能是我们的论文获奖的一个很重要的原因。」王健楠表示。
研究团队介绍说,虽然目前无法直接投入使用,但是这一领域的研究非常有潜力,尤其是在准确率方面可以比传统方法取得更优越的效果。而这篇论文可以帮助大家指出一些更有潜力的「升温」方向。新技术刚出现的时候,往往都伴随巨大的优势与劣势,这才使得完善劣势的部分变得重要。比如自动驾驶的可靠性问题让它在目前阶段很难实用,但是自动驾驶节省人力的优势,驱使大家去努力解决它的劣势,所以关于自动驾驶技术的研究才能一直「升温」。ML4DB 也是类似的,机器学习的方法展现了很多优势,但是同时也有劣势,这才会让相关研究「升温」。
出于实用目标,具体而言,团队今后的研究将从两方面入手:
Learned Method 工作流程。
获奖论文中也提到,基于 ML 的基数估计法在动态环境表现不佳的一个主要原因,是模型训练速度跟不上数据库的更新频率。如果模型训练速度足够快(训练成本也可以接受),基于 ML 的基数估计法在实际部署中会有多大的发挥空间?
团队表示,如果模型训练速度足够快,的确可以让一些 ML 的方法向实际部署迈进一大步,不过仍有其它的 cost 需要考虑,比如 Inference time(推断时间)。以 OLTP 场景举例,OLTP 往往会要求很快的查询响应时间,可能某应用要求查询响应时间低于 100 ms。传统的基数估计方法可能只需要占用其中的 1 ms,而现有方法可能直接就占了 200 ms。这对用户而言是不能接受的。
同时,获取训练数据也有 cost。一些基于 ML 的基数估计方法需要查询的结果作为训练数据的标签,而在动态环境里,这些标签随时都会失效,所以获取足够多的新训练数据也可能花费很多时间。
在论文中,研究者也讨论了 learned methods 不 work 的情况,比如在一些简单直观的逻辑规则上,这些 learned models 经常违反这些规则。具体不足如下:
此外,学术界 DB 研究还会存在一些挑战。一方面是数据规模,另一方面是很难与真实用户直接进行沟通。开源可以在一定程度上缓解这个挑战。DataPrep (http://dataprep.ai) 是该团队近两年领导的一个数据准备的开源项目,目前已经有近 20 万的下载量,得到了很多真实用户的需求反馈,并且也吸引一些业界的关注。
王健楠介绍,团队近期围绕的研究方向主要是增强 ML 的可信度,也做了一系列 ML debugging 的工作,相关论文发表在 SIGMOD 2020,VLDB 2021 和 VLDB 2022。在 Benchmark 方面,团队也已经构建了基数估计的 Benchmark,在 Github 上开源供大家使用:https://github.com/sfu-db/AreCELearnedYet。
机器之心招人啦!
为进一步生产更多的高质量内容,提供更好数据产品及产业服务,机器之心需要更多的小伙伴加入进来,共同努力打造专业的人工智能信息服务平台。
工作城市:北京市朝阳区酒仙桥 / 上海张江人工智能岛
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com