数据库[分库分表]中间件 Sharding-JDBC 源码分析 —— SQL 解析(四)之插入SQL

本文主要基于 Sharding-JDBC 1.5.0 正式版

  • 1. 概述
  • 2. InsertStatement
  • 3. #parse()
    • 3.1 #parseInfo()
    • 3.2 #parseColumns()
    • 3.3 #parseValues()
    • 3.4 #parseCustomizedInsert()
    • 3.5 #appendGenerateKey()
  • 666. 彩蛋

1. 概述

本文前置阅读:

  • 《SQL 解析(一)之词法解析》
  • 《SQL 解析(二)之SQL解析》

本文分享插入SQL解析的源码实现。

不考虑 INSERT SELECT 情况下,插入SQL解析比查询SQL解析复杂度低的多的多。不同数据库在插入SQL语法上也统一的多。本文分享 MySQL 插入SQL解析器 MySQLInsertParser

MySQL INSERT 语法一共有 3 种 :

  • 第一种: INSERT{VALUES|VALUES}
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
    [INTO] tbl_name
    [PARTITION (partition_name,...)]
    [(col_name,...)]
    {VALUES | VALUE} ({expr | DEFAULT},...),(...),...
    [ ON DUPLICATE KEY UPDATE
      col_name=expr
        [, col_name=expr] ... ]
  • 第二种: INSERT SET
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
    [INTO] tbl_name
    [PARTITION (partition_name,...)]
    SET col_name={expr | DEFAULT}, ...
    [ ON DUPLICATE KEY UPDATE
      col_name=expr
        [, col_name=expr] ... ]
  • 第三种: INSERT SELECT
INSERT [LOW_PRIORITY | HIGH_PRIORITY] [IGNORE]
    [INTO] tbl_name
    [PARTITION (partition_name,...)]
    [(col_name,...)]
    SELECT ...
    [ ON DUPLICATE KEY UPDATE
      col_name=expr
        [, col_name=expr] ... ]

Sharding-JDBC 目前支持:

  • 第一种: INSERT{VALUES|VALUES} 单条记录
  • 第二种: INSERT SET

Sharding-JDBC 插入SQL解析主流程如下:

// AbstractInsertParser.java
public final InsertStatement parse() {
   sqlParser.getLexer().nextToken(); // 跳过 INSERT 关键字
   parseInto(); // 解析INTO
   parseColumns(); // 解析表
   if (sqlParser.equalAny(DefaultKeyword.SELECT, Symbol.LEFT_PAREN)) {
       throw new UnsupportedOperationException("Cannot support subquery");
   }
   if (getValuesKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) { // 第一种插入SQL情况
       parseValues();
   } else if (getCustomizedInsertKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) { // 第二种插入SQL情况
       parseCustomizedInsert();
   }
   appendGenerateKey(); // 自增主键
   return insertStatement;
}

2. InsertStatement

插入SQL 解析结果。

public final class InsertStatement extends AbstractSQLStatement {
    /**
     * 插入字段
     */
    private final Collection<Column> columns = new LinkedList<>();
    /**
     *
     */
    private GeneratedKey generatedKey;
    /**
     * 插入字段 下一个Token 开始位置
     */
    private int columnsListLastPosition;
    /**
     * 值字段 下一个Token 开始位置
     */
    private int valuesListLastPosition;
}

我们来看下 INSERT INTO t_order(uid,nickname)VALUES(?,?)解析结果

3. #parse()

3.1 #parseInto()

解析

// AbstractInsertParser.java
/**
* 解析表
*/
private void parseInto() {
   // 例如,Oracle,INSERT FIRST/ALL 目前不支持
   if (getUnsupportedKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) {
       throw new SQLParsingUnsupportedException(sqlParser.getLexer().getCurrentToken().getType());
   }
   sqlParser.skipUntil(DefaultKeyword.INTO);
   sqlParser.getLexer().nextToken();
   // 解析表
   sqlParser.parseSingleTable(insertStatement);
   skipBetweenTableAndValues();
}
/**
* 跳过 表 和 插入字段 中间的 Token
* 例如 MySQL :[PARTITION (partition_name,...)]
*/
private void skipBetweenTableAndValues() {
   while (getSkippedKeywordsBetweenTableAndValues().contains(sqlParser.getLexer().getCurrentToken().getType())) {
       sqlParser.getLexer().nextToken();
       if (sqlParser.equalAny(Symbol.LEFT_PAREN)) {
           sqlParser.skipParentheses();
       }
   }
}

其中 #parseSingleTable() 请看《SQL 解析(二)之SQL解析》的 #parseSingleTable() 小节。

3.2 #parseColumns()

解析插入字段

// AbstractInsertParser.java
private void parseColumns() {
   Collection<Column> result = new LinkedList<>();
   if (sqlParser.equalAny(Symbol.LEFT_PAREN)) {
       String tableName = insertStatement.getTables().getSingleTableName();
       Optional<String> generateKeyColumn = shardingRule.getGenerateKeyColumn(tableName); // 自动生成键信息
       int count = 0;
       do {
           // Column 插入字段
           sqlParser.getLexer().nextToken();
           String columnName = SQLUtil.getExactlyValue(sqlParser.getLexer().getCurrentToken().getLiterals());
           result.add(new Column(columnName, tableName));
           sqlParser.getLexer().nextToken();
           // 自动生成键
           if (generateKeyColumn.isPresent() && generateKeyColumn.get().equalsIgnoreCase(columnName)) {
               generateKeyColumnIndex = count;
           }
           count++;
       } while (!sqlParser.equalAny(Symbol.RIGHT_PAREN) && !sqlParser.equalAny(Assist.END));
       //
       insertStatement.setColumnsListLastPosition(sqlParser.getLexer().getCurrentToken().getEndPosition() - sqlParser.getLexer().getCurrentToken().getLiterals().length());
       //
       sqlParser.getLexer().nextToken();
   }
   insertStatement.getColumns().addAll(result);
}

3.3 #parseValues()

解析值字段

/**
* 解析值字段
*/
private void parseValues() {
   boolean parsed = false;
   do {
       if (parsed) { // 只允许INSERT INTO 一条
           throw new UnsupportedOperationException("Cannot support multiple insert");
       }
       sqlParser.getLexer().nextToken();
       sqlParser.accept(Symbol.LEFT_PAREN);
       // 解析表达式
       List<SQLExpression> sqlExpressions = new LinkedList<>();
       do {
           sqlExpressions.add(sqlParser.parseExpression());
       } while (sqlParser.skipIfEqual(Symbol.COMMA));
       //
       insertStatement.setValuesListLastPosition(sqlParser.getLexer().getCurrentToken().getEndPosition() - sqlParser.getLexer().getCurrentToken().getLiterals().length());
       // 解析值字段
       int count = 0;
       for (Column each : insertStatement.getColumns()) {
           SQLExpression sqlExpression = sqlExpressions.get(count);
           insertStatement.getConditions().add(new Condition(each, sqlExpression), shardingRule);
           if (generateKeyColumnIndex == count) { // 自动生成键
               insertStatement.setGeneratedKey(createGeneratedKey(each, sqlExpression));
           }
           count++;
       }
       sqlParser.accept(Symbol.RIGHT_PAREN);
       parsed = true;
   }
   while (sqlParser.equalAny(Symbol.COMMA)); // 字段以 "," 分隔
}
/**
* 创建 自动生成键
*
* @param column 字段
* @param sqlExpression 表达式
* @return 自动生成键
*/
private GeneratedKey createGeneratedKey(final Column column, final SQLExpression sqlExpression) {
   GeneratedKey result;
   if (sqlExpression instanceof SQLPlaceholderExpression) { // 占位符
       result = new GeneratedKey(column.getName(), ((SQLPlaceholderExpression) sqlExpression).getIndex(), null);
   } else if (sqlExpression instanceof SQLNumberExpression) { // 数字
       result = new GeneratedKey(column.getName(), -1, ((SQLNumberExpression) sqlExpression).getNumber());
   } else {
       throw new ShardingJdbcException("Generated key only support number.");
   }
   return result;
}

3.4.1 GeneratedKey

自动生成键,属于分片上下文信息

public final class GeneratedKey {
    /**
     * 字段
     */
    private final String column;
    /**
     * 第几个占位符
     */
    private final int index;
    /**
     * 值
     */
    private final Number value;
}

3.4.2 Condition

条件对象,属于分片上下文信息。在插入SQL解析里存储影响分片的值字段。后续《SQL 路由》 会专门分享这块。

public final class Condition {

    /**
     * 字段
     */
    @Getter
    private final Column column;

    // ... 省略其它属性
}

public final class Column {

    /**
     * 列名
     */
    private final String name;
    /**
     * 表名
     */
    private final String tableName;
}

3.4 #parseCustomizedInsert()

解析第二种插入SQLINSERT SET。例如:

INSERT INTO test SET id = 4  ON DUPLICATE KEY UPDATE name = 'doubi', name = 'hehe';
INSERT INTO test SET id = 4, name = 'hehe';
private void parseInsertSet() {
   do {
       getSqlParser().getLexer().nextToken();
       // 插入字段
       Column column = new Column(SQLUtil.getExactlyValue(getSqlParser().getLexer().getCurrentToken().getLiterals()), getInsertStatement().getTables().getSingleTableName());
       getSqlParser().getLexer().nextToken();
       // 等号
       getSqlParser().accept(Symbol.EQ);
       // 【值】表达式
       SQLExpression sqlExpression;
       if (getSqlParser().equalAny(Literals.INT)) {
           sqlExpression = new SQLNumberExpression(Integer.parseInt(getSqlParser().getLexer().getCurrentToken().getLiterals()));
       } else if (getSqlParser().equalAny(Literals.FLOAT)) {
           sqlExpression = new SQLNumberExpression(Double.parseDouble(getSqlParser().getLexer().getCurrentToken().getLiterals()));
       } else if (getSqlParser().equalAny(Literals.CHARS)) {
           sqlExpression = new SQLTextExpression(getSqlParser().getLexer().getCurrentToken().getLiterals());
       } else if (getSqlParser().equalAny(DefaultKeyword.NULL)) {
           sqlExpression = new SQLIgnoreExpression();
       } else if (getSqlParser().equalAny(Symbol.QUESTION)) {
           sqlExpression = new SQLPlaceholderExpression(getSqlParser().getParametersIndex());
           getSqlParser().increaseParametersIndex();
       } else {
           throw new UnsupportedOperationException("");
       }
       getSqlParser().getLexer().nextToken();
       // Condition
       if (getSqlParser().equalAny(Symbol.COMMA, DefaultKeyword.ON, Assist.END)) {
           getInsertStatement().getConditions().add(new Condition(column, sqlExpression), getShardingRule());
       } else {
           getSqlParser().skipUntil(Symbol.COMMA, DefaultKeyword.ON);
       }
   } while (getSqlParser().equalAny(Symbol.COMMA)); // 字段以 "," 分隔
}

3.5 #appendGenerateKey()

当表设置自动生成键,并且插入SQL写自增字段,增加该字段。例如:

// 主键为user_id
INSERT INTO t_user(nickname, age) VALUES (?, ?)

后续 SQL 改写会生成该自增编号,并改写该 SQL。后续《SQL 改写》 会专门分享这块。

private void appendGenerateKey() {
   // 当表设置自动生成键,并且插入SQL没写自增字段
   String tableName = insertStatement.getTables().getSingleTableName();
   Optional<String> generateKeyColumn = shardingRule.getGenerateKeyColumn(tableName);
   if (!generateKeyColumn.isPresent() || null != insertStatement.getGeneratedKey()) {
       return;
   }
   // ItemsToken
   ItemsToken columnsToken = new ItemsToken(insertStatement.getColumnsListLastPosition());
   columnsToken.getItems().add(generateKeyColumn.get());
   insertStatement.getSqlTokens().add(columnsToken);
   // GeneratedKeyToken
   insertStatement.getSqlTokens().add(new GeneratedKeyToken(insertStatement.getValuesListLastPosition()));
}

3.5.1 GeneratedKeyToken

自增主键标记对象。

public final class GeneratedKeyToken implements SQLToken {

    /**
     * 开始位置
     */
    private final int beginPosition;
}

原文发布于微信公众号 - 芋道源码(YunaiV)

原文发表时间:2017-08-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java达人

mysql left( right ) join使用on 与where 筛选的差异

有这样的一个问题mysql查询使用mysql中left(right)join筛选条件在on与where查询出的数据是否有差异。 可能只看着两个关键字看不出任...

2377
来自专栏文渊之博

探索SQL Server元数据(三):索引元数据

在第一篇中我介绍了如何访问元数据,元数据为什么在数据库里面,以及如何使用元数据。介绍了如何查出各种数据库对象的在数据库里面的名字。第二篇,我选择了触发器的主题,...

2271
来自专栏lgp20151222

mysql explain用法和结果的含义

explain显示了mysql如何使用索引来处理select语句以及连接表。可以帮助选择更好的索引和写出更优化的查询语句。

1821
来自专栏学习有记

T-SQL进阶:超越基础 Level 2:编写子查询

1101
来自专栏青玉伏案

Oracle之PL/SQL学习笔记

  自己在学习Oracle是做的笔记及实验代码记录,内容挺全的,也挺详细,发篇博文分享给需要的朋友,共有1w多字的学习笔记吧。是以前做的,一直在压箱底,今天拿出...

2058
来自专栏c#开发者

oracle 常用command

Lunatic 整理 1. 删除表的注意事项 在删除一个表中的全部数据时,须使用TRUNCATE TABLE 表名;因为用DROP TABLE,DE...

3743
来自专栏Jerry的SAP技术分享

使用ABAP(ADBC)和Java(JDBC)连接SAP HANA数据库

在表DBCON里维护一条记录,指向HANA数据库。con_ENV里填入HANA数据库的主机名和端口号。如vmXXXX:30015

4333
来自专栏WindCoder

where in与join 查询

Oracle:当前所用版本中,限制in中的参数不能超过 1000个。当超出时会被报错"ORA-01795异常(where in超过1000)的解决"。

4210
来自专栏Linux运维学习之路

MySQL索引

索引管理 索引是什么? 索引就好比一本书的目录,它会让你更快的找到内容; 让获取的数据更有目的性,从而提高数据库检索数据的性能; 索引建立在表的列上(字段)。 ...

4645
来自专栏流柯技术学院

MySQL执行计划解读

id如果相同,可以认为是一组,从上往下顺序执行;在所有组中,id值越大,优先级越高,越先执行

1181

扫码关注云+社区

领取腾讯云代金券