随便聊聊sql解析的词法分析

因为最近在研究不同数据库的sql的转换，自己也手写了勉强能用的词法解析器和语法解析器。虽然到后来发现了sqlparse和PLY这两个awesome的库， 可以让我节省大量的时间，但是因为自己写了，才明白“纸上得来终觉浅”，看那一大堆公式，还不如自己想办法实现，虽然你最后会发现原来我这方法还有个 这么拗口的学名啊。 先说下期间参考的网址：http://www.iocoder.cn/Sharding-JDBC/sql-parse-1/?self还有神奇的google和维基百科 从词法解析器开始，词法解析器，用一句话来说，就是按顺序逐步匹配已经写好的规则，匹配的规则可以先用字典写好，比如{'SELECT': tokens.Keyword.DML}，使用posistion 去匹配，一旦找到，我们可以认为这是是一个特殊的tokens,是sql的关键字，并且是DML语言的，同理create是DDL语言。这个很重要的一点要写好一个消费队列的函数，一旦匹配上， 迭代器就必须前进相应的位置。匹配的话，可以使用正则表达式的，re.match(rex,pos)去匹配。tokens可以有以下几种: Keyword = Token.Keyword Name = Token.Name Literal = Token.Literal String = Literal.String Number = Literal.Number Punctuation = Token.Punctuation Operator = Token.Operator Comparison = Operator.Comparison Wildcard = Token.Wildcard Comment = Token.Comment Assignment = Token.Assignment DML = Keyword.DML DDL = Keyword.DDL 分别代表了不同的操作符。 比如这个sql语句，匹配完，会返回如下的语句 sql = "select sum(a) from (select * from tablename)" (Token.Keyword.DML, 'select') (Token.Text.Whitespace, ' ') (Token.Name, 'sum') (Token.Punctuation, '(') (Token.Name, 'a') (Token.Punctuation, ')') (Token.Text.Whitespace, ' ') (Token.Keyword, 'from') (Token.Text.Whitespace, ' ') (Token.Punctuation, '(') (Token.Keyword.DML, 'select') (Token.Text.Whitespace, ' ') (Token.Wildcard, '*') (Token.Text.Whitespace, ' ') (Token.Keyword, 'from') (Token.Text.Whitespace, ' ') (Token.Name, 'tablename') (Token.Punctuation, ')') 现在看起来已经把这个解析成一个个的token，当然还有更多的细节，比如匹配浮点数以及处理十六进制数。简而言之，词法解析器，可以理解为一个确定性有限状态自动机，字典则是规则，sql是输入，标识符是输出。