数据库中间件 Sharding-JDBC 源码分析——SQL 解析之插入SQL

1. 概述

本文前置阅读:

《SQL 解析(一)之词法解析》

《SQL 解析(二)之SQL解析》

本文分享插入SQL解析的源码实现。

不考虑 INSERT SELECT 情况下,插入SQL解析比查询SQL解析复杂度低的多的多。不同数据库在插入SQL语法上也统一的多。本文分享 MySQL 插入SQL解析器 MySQLInsertParser。

MySQL INSERT 语法一共有 3 种 :

第一种:INSERT

.

第二种:INSERT SET

.

第三种:INSERT SELECT

.

Sharding-JDBC 目前支持:

第一种:INSERT

单条记录

第二种:INSERT SET

Sharding-JDBC 插入SQL解析主流程如下:

.

// AbstractInsertParser.javapublic final InsertStatement parse() { sqlParser.getLexer().nextToken(); // 跳过 INSERT 关键字 parseInto(); // 解析INTO parseColumns(); // 解析表 if (sqlParser.equalAny(DefaultKeyword.SELECT, Symbol.LEFT_PAREN)) { throw new UnsupportedOperationException("Cannot support subquery"); } if (getValuesKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) { // 第一种插入SQL情况 parseValues(); } else if (getCustomizedInsertKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) { // 第二种插入SQL情况 parseCustomizedInsert(); } appendGenerateKey(); // 自增主键 return insertStatement;}

2. InsertStatement

插入SQL 解析结果。

.

我们来看下 INSERT INTO t_order (uid, nickname) VALUES (?, ?) 的解析结果

.

3. #parse()

3.1 #parseInto()

解析表。

// AbstractInsertParser.java/*** 解析表*/private void parseInto() { // 例如,Oracle,INSERT FIRST/ALL 目前不支持 if (getUnsupportedKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) { throw new SQLParsingUnsupportedException(sqlParser.getLexer().getCurrentToken().getType()); } sqlParser.skipUntil(DefaultKeyword.INTO); sqlParser.getLexer().nextToken(); // 解析表 sqlParser.parseSingleTable(insertStatement); skipBetweenTableAndValues();}/*** 跳过 表 和 插入字段 中间的 Token* 例如 MySQL :[PARTITION (partition_name,...)]*/private void skipBetweenTableAndValues() { while (getSkippedKeywordsBetweenTableAndValues().contains(sqlParser.getLexer().getCurrentToken().getType())) { sqlParser.getLexer().nextToken(); if (sqlParser.equalAny(Symbol.LEFT_PAREN)) { sqlParser.skipParentheses(); } }}

3.2 #parseColumns()

解析插入字段。

// AbstractInsertParser.javaprivate void parseColumns() { Collection result = new LinkedList(); if (sqlParser.equalAny(Symbol.LEFT_PAREN)) { String tableName = insertStatement.getTables().getSingleTableName(); Optional generateKeyColumn = shardingRule.getGenerateKeyColumn(tableName); // 自动生成键信息 int count = 0; do { // Column 插入字段 sqlParser.getLexer().nextToken(); String columnName = SQLUtil.getExactlyValue(sqlParser.getLexer().getCurrentToken().getLiterals()); result.add(new Column(columnName, tableName)); sqlParser.getLexer().nextToken(); // 自动生成键 if (generateKeyColumn.isPresent() && generateKeyColumn.get().equalsIgnoreCase(columnName)) { generateKeyColumnIndex = count; } count++; } while (!sqlParser.equalAny(Symbol.RIGHT_PAREN) && !sqlParser.equalAny(Assist.END)); // insertStatement.setColumnsListLastPosition(sqlParser.getLexer().getCurrentToken().getEndPosition() - sqlParser.getLexer().getCurrentToken().getLiterals().length()); // sqlParser.getLexer().nextToken(); } insertStatement.getColumns().addAll(result);}

3.3 #parseValues()

解析值字段

/*** 解析值字段*/private void parseValues() { boolean parsed = false; do { if (parsed) { // 只允许INSERT INTO 一条 throw new UnsupportedOperationException("Cannot support multiple insert"); } sqlParser.getLexer().nextToken(); sqlParser.accept(Symbol.LEFT_PAREN); // 解析表达式 List sqlExpressions = new LinkedList(); do { sqlExpressions.add(sqlParser.parseExpression()); } while (sqlParser.skipIfEqual(Symbol.COMMA)); // insertStatement.setValuesListLastPosition(sqlParser.getLexer().getCurrentToken().getEndPosition() - sqlParser.getLexer().getCurrentToken().getLiterals().length()); // 解析值字段 int count = 0; for (Column each : insertStatement.getColumns()) { SQLExpression sqlExpression = sqlExpressions.get(count); insertStatement.getConditions().add(new Condition(each, sqlExpression), shardingRule); if (generateKeyColumnIndex == count) { // 自动生成键 insertStatement.setGeneratedKey(createGeneratedKey(each, sqlExpression)); } count++; } sqlParser.accept(Symbol.RIGHT_PAREN); parsed = true; } while (sqlParser.equalAny(Symbol.COMMA)); // 字段以 "," 分隔}/*** 创建 自动生成键** @param column 字段* @param sqlExpression 表达式* @return 自动生成键*/private GeneratedKey createGeneratedKey(final Column column, final SQLExpression sqlExpression) { GeneratedKey result; if (sqlExpression instanceof SQLPlaceholderExpression) { // 占位符 result = new GeneratedKey(column.getName(), ((SQLPlaceholderExpression) sqlExpression).getIndex(), null); } else if (sqlExpression instanceof SQLNumberExpression) { // 数字 result = new GeneratedKey(column.getName(), -1, ((SQLNumberExpression) sqlExpression).getNumber()); } else { throw new ShardingJdbcException("Generated key only support number."); } return result;}

3.4.1 GeneratedKey

自动生成键,属于分片上下文信息。

.

3.4.2 Condition

条件对象,属于分片上下文信息。在插入SQL解析里存储影响分片的值字段。后续《SQL 路由》 会专门分享这块。

.

.

3.4 #parseCustomizedInsert()

解析第二种插入SQL:INSERT SET。例如:

.

private void parseInsertSet() { do { getSqlParser().getLexer().nextToken(); // 插入字段 Column column = new Column(SQLUtil.getExactlyValue(getSqlParser().getLexer().getCurrentToken().getLiterals()), getInsertStatement().getTables().getSingleTableName()); getSqlParser().getLexer().nextToken(); // 等号 getSqlParser().accept(Symbol.EQ); // 【值】表达式 SQLExpression sqlExpression; if (getSqlParser().equalAny(Literals.INT)) { sqlExpression = new SQLNumberExpression(Integer.parseInt(getSqlParser().getLexer().getCurrentToken().getLiterals())); } else if (getSqlParser().equalAny(Literals.FLOAT)) { sqlExpression = new SQLNumberExpression(Double.parseDouble(getSqlParser().getLexer().getCurrentToken().getLiterals())); } else if (getSqlParser().equalAny(Literals.CHARS)) { sqlExpression = new SQLTextExpression(getSqlParser().getLexer().getCurrentToken().getLiterals()); } else if (getSqlParser().equalAny(DefaultKeyword.NULL)) { sqlExpression = new SQLIgnoreExpression(); } else if (getSqlParser().equalAny(Symbol.QUESTION)) { sqlExpression = new SQLPlaceholderExpression(getSqlParser().getParametersIndex()); getSqlParser().increaseParametersIndex(); } else { throw new UnsupportedOperationException(""); } getSqlParser().getLexer().nextToken(); // Condition if (getSqlParser().equalAny(Symbol.COMMA, DefaultKeyword.ON, Assist.END)) { getInsertStatement().getConditions().add(new Condition(column, sqlExpression), getShardingRule()); } else { getSqlParser().skipUntil(Symbol.COMMA, DefaultKeyword.ON); } } while (getSqlParser().equalAny(Symbol.COMMA)); // 字段以 "," 分隔}

3.5 #appendGenerateKey()

当表设置自动生成键,并且插入SQL没写自增字段,增加该字段。例如:

.

后续 SQL 改写会生成该自增编号,并改写该 SQL。后续《SQL 改写》 会专门分享这块。

private void appendGenerateKey() { // 当表设置自动生成键,并且插入SQL没写自增字段 String tableName = insertStatement.getTables().getSingleTableName(); Optional generateKeyColumn = shardingRule.getGenerateKeyColumn(tableName); if (!generateKeyColumn.isPresent() || null != insertStatement.getGeneratedKey()) { return; } // ItemsToken ItemsToken columnsToken = new ItemsToken(insertStatement.getColumnsListLastPosition()); columnsToken.getItems().add(generateKeyColumn.get()); insertStatement.getSqlTokens().add(columnsToken); // GeneratedKeyToken insertStatement.getSqlTokens().add(new GeneratedKeyToken(insertStatement.getValuesListLastPosition()));}

3.5.1 GeneratedKeyToken

自增主键标记对象

本文来自企鹅号 - java交流学习媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏个人分享

Spark工程开发常用函数与方法(Scala语言)

import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.sql.{S...

17720
来自专栏Linux运维学习之路

MySQL索引

索引管理 索引是什么? 索引就好比一本书的目录,它会让你更快的找到内容; 让获取的数据更有目的性,从而提高数据库检索数据的性能; 索引建立在表的列上(字段)。 ...

48050
来自专栏乐沙弥的世界

ORA-06502 assigning values from SQL to PL/SQL variables

    最近SQL查询返回的结果给PL/SQL变量出现ORA-06502错误。这个错误的描述是ORA-06502: PL/SQL: numeric or val...

7210
来自专栏Albert陈凯

2018-07-20 oracle优化:避免全表扫描

例如:在City-State-Zip列创建了三列复合索引,那么仅对State列限定条件不能使用这个索引,因为State不是索引的主列。

27140
来自专栏java达人

mysql left( right ) join使用on 与where 筛选的差异

有这样的一个问题mysql查询使用mysql中left(right)join筛选条件在on与where查询出的数据是否有差异。 可能只看着两个关键字看不出任...

24270
来自专栏程序员宝库

再见乱码:5 分钟读懂 MySQL 字符集设置

作者: 程序猿小卡_casper 原文:https://segmentfault.com/a/1190000012775484 一、内容概述 在MySQL的使...

511110
来自专栏c#开发者

oracle 常用command

Lunatic 整理 1. 删除表的注意事项 在删除一个表中的全部数据时,须使用TRUNCATE TABLE 表名;因为用DROP TABLE,DE...

37630
来自专栏学习有记

T-SQL进阶:超越基础 Level 2:编写子查询

11210
来自专栏文渊之博

探索SQL Server元数据(三):索引元数据

在第一篇中我介绍了如何访问元数据,元数据为什么在数据库里面,以及如何使用元数据。介绍了如何查出各种数据库对象的在数据库里面的名字。第二篇,我选择了触发器的主题,...

23410
来自专栏芋道源码1024

数据库[分库分表]中间件 Sharding-JDBC 源码分析 —— SQL 解析(四)之插入SQL

本文主要基于 Sharding-JDBC 1.5.0 正式版 1. 概述 2. InsertStatement 3. #parse() 3.1 #parseI...

44870

扫码关注云+社区

领取腾讯云代金券