首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

sql解析的一些计划

关于sql解析的一些概述: 因为最近在研究如何将oracle的sql语句迁移到hive上去,前期是准备写一些udf函数去弥补hive缺失oracle函数的遗憾, 其次会使用python开始开发一套轮子去实现转换。目前是实现了DDL建表语句的迁移,之后会慢慢不上DML的迁移。 目前的整体架构和一般的sql解析引擎无异,有如下几个部分: Catalog:这部分相当于字典表,使用了pyhs2去检查hive是否存在这张表,后续的话,应该也会利用pyhs2直接建表。 DDL_parser:现在只是实现了建表语句的互换 sql_parser:打算是正常的select语句,不支持insert语句。解析关键字,生成一棵树。主要是对oracle语句和hive语句的join做出处理,变成一个逻辑执行计划。 analyzer:将逻辑执行计划,重新组装成hive sql语句。 具体细节如下: 逻辑执行计划主要是树的数据结构,分为三种节点: 一元节点:主要是存放Project,Sort,Limit,Filter这四种操作。一个子节点 二元节点:主要是Except(也就是类似于not in),Intersect(也就是join,这里目测实现难度会最大),两个子节点 parser的设计: 对于传入的语句将\r\n\t这些都替换为空格,设为空格标识符。 对sql语句进行拆分,会使用stack的结构,处理子查询。 DDL的解析:对create和table进行匹配,create table设为DDL标识符。表名就是identifier,再就是匹配括号,将括号里面的语句进行处理转换成hive的语句。 其中特别提到的是数据类型的转换,通常来讲是会全部转成string类型,number会转成decimal类型。 sql_parser:会对里面的函数进行匹配,使用字典的形式去匹配,赋值相应的标识符。将相应的字段名,处理到keyword的执行计划中,放入树中。会处理oracle的一些特殊表示连接 的方式 analyzer:目前再将sql_parser的数再拼接回来,将oracle简写的sql语句变成hive的。

02

Postgresql动态SQL

PostgreSQL支持动态SQL,以PL/Pgsql为例,语法如下: EXECUTE command-string [ INTO [STRICT] target ] [ USING expression [, … ] ]; 上式中的可选项target表示a record variable, a row variable, or a comma-separated list of simple variables and record/row fields。如果要返回结果集,那么需要用到RETURN QUERY的一个变形:RETURN QUERY EXECUTE command-string [ USING expression [, … ] ]; 参数表达式可以通过USING插入到计算查询字符串中,以EXECUTE命令的同样方式。 PostgreSQL也提供了一些字符串处理函数,可以更方便地拼接字符串。 quote_ident:Return the given string suitably quoted to be used as an identifier in an SQL statement string。根据sql语句返回给定的标识符,字符串是表名列名等标识数据库对象时候有用 quote_literal:Return the given string suitably quoted to be used as a string literal in an SQL statement string.对特殊字符进行转义。 quote_nullable:当传入参数可能为null时,可使用quote_nullable,而不是quote_literal。前者返回字符串格式的’Null’,后者返回的就是Null。pg中所有东西与null比较返回的都是null。 format:EXECUTE format(‘UPDATE tbl SET %I = %L WHERE key = %L’, colname, newvalue, keyvalue); or EXECUTE format(‘UPDATE tbl SET %I = 1 WHEREkey=2’, colname) USING newvalue, keyvalue; 后者更有效率,因为关键词比较时不会出现隐式转换。注意format的格式化类型字符s, I, L. 分别表示字符串, identified, 和literal(注意s、L不要搞反了)。示例: CREATE OR REPLACE FUNCTION func_get_merchandises(     keyword text,     isinland boolean,     startindex integer DEFAULT 0,     takecount integer DEFAULT 20,     sortfield text DEFAULT ‘MerchandiseName’::text,     sortorder text DEFAULT ‘asc’::text)   RETURNS SETOF “Merchandises” AS $BODY$ begin         return query EXECUTE      format(‘select m.* from “Merchandises” m         where m.tsv @@ plainto_tsquery($1) and m.”IsInland”=$2     order by %I %s limit $3 offset $4′,sortfield,sortorder) using keyword,isinland,takecount,startindex; end $BODY$

01

使用关键字作为字段名称

在Oracle 中只能用双引号"包围关键字。但由于Oracle中双引号内的字符串是区分大小写的,而不管创建表还是查询时,Oracle都会把字段名转成全部大写,所以,除非创建表时双引号内的字段名就是全大写的,否则以后查询时SQL语句都必须加双引号,若不加则Oracle内部会把字段名转成全大写从而提示“无效的标识符”。同理,查询普通字段也可以通过加双引号查询得出,但双引号内的字段名必须是全大写,例如SELECT "ANY_FIELD_NAME" FROM TableName 在SQL Server 中可以用方括号[]或双引号"包围关键字。字段名任何情况下都不区分大小写。 在MySQL 中用`(backticks)把表和列名名字围起来。字段名也不区分大小写。 在Hibernate 中必须在定义映射关系时用backticks(`)包围字段名,具体参考这里 或这里 。

01
领券