首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

sql解析的一些计划

关于sql解析的一些概述: 因为最近在研究如何将oracle的sql语句迁移到hive上去,前期是准备写一些udf函数去弥补hive缺失oracle函数的遗憾, 其次会使用python开始开发一套轮子去实现转换。目前是实现了DDL建表语句的迁移,之后会慢慢不上DML的迁移。 目前的整体架构和一般的sql解析引擎无异,有如下几个部分: Catalog:这部分相当于字典表,使用了pyhs2去检查hive是否存在这张表,后续的话,应该也会利用pyhs2直接建表。 DDL_parser:现在只是实现了建表语句的互换 sql_parser:打算是正常的select语句,不支持insert语句。解析关键字,生成一棵树。主要是对oracle语句和hive语句的join做出处理,变成一个逻辑执行计划。 analyzer:将逻辑执行计划,重新组装成hive sql语句。 具体细节如下: 逻辑执行计划主要是树的数据结构,分为三种节点: 一元节点:主要是存放Project,Sort,Limit,Filter这四种操作。一个子节点 二元节点:主要是Except(也就是类似于not in),Intersect(也就是join,这里目测实现难度会最大),两个子节点 parser的设计: 对于传入的语句将\r\n\t这些都替换为空格,设为空格标识符。 对sql语句进行拆分,会使用stack的结构,处理子查询。 DDL的解析:对create和table进行匹配,create table设为DDL标识符。表名就是identifier,再就是匹配括号,将括号里面的语句进行处理转换成hive的语句。 其中特别提到的是数据类型的转换,通常来讲是会全部转成string类型,number会转成decimal类型。 sql_parser:会对里面的函数进行匹配,使用字典的形式去匹配,赋值相应的标识符。将相应的字段名,处理到keyword的执行计划中,放入树中。会处理oracle的一些特殊表示连接 的方式 analyzer:目前再将sql_parser的数再拼接回来,将oracle简写的sql语句变成hive的。

02

长文:解读Gartner 2021数据库魔力象限

作为全球最具权威的IT研究与顾问咨询公司,Gartner报告非常值得从业者研究学习。从中我们可以了解到更多行业、产品、技术发展趋势。近日,数据库领域的重磅报告《Magic Quadrant for Cloud Database Management Systems》悄然出炉。作为数据库领域的重要组成部分,云数据库近些年来发展迅速。2020年,Gartner将魔力象限从Operational Database更名为Cloud Database。从2020年的数据来看,云数据库已占据整体数据库市场份额的40%,且贡献了增长市场的9成以上份额。据Gartner预测,到2022年云数据库营收数据将占据数据库整体市场的半数以上。可以说,云数据库代表着数据库行业的未来。本文将尝试从多角度加以分析,窥视云数据库2021发展变化。文中仅代表个人观点,如有偏颇,欢迎指正。

04
领券