随着去“IOE”化的潮流,近些年来,许多与国家相关的项目不约而同地往”国产化“方向靠拢,不可避免地,一些项目可能需要进行数据库迁移。
Oceanbase作为蚂蚁集团完全自主研发的国产原生分布式数据库,在TPC-C核TPC-H的测试上有过刷新世界纪录的辉煌成就,已连续 9 年稳定支撑双 11,在阿里集团中多个领域如淘宝、花呗、芝麻信用等投入使用,它具有云原生、强一致性、高度兼容mysql和oracle等特性,非常适合一些需要往国产化数据库迁移的项目。
本文以Springboot+Mybatis-plus为技术栈,通过实战讲解oracle迁移到oceanbase流程,希望能够帮助到有需要的朋友。
前提:Oceanbase数据库高度兼容Oracle数据库,可以通过Oracle租户的方式近乎无成本地进行数据库迁移。
因为Oceanbase的数据库驱动包还没有上传到maven的中央仓库mvnrepository中,因此需要跟Oceanbase官方获取,获取方式如下:
在项目中引入依赖,可以通过本地引入的方式或者将获取到的jar包上传到公司私服上,然后使用坐标引用,本文案例是通过本地引入的方式进行:
<dependency>
<groupId>com.alipay.oceanbase</groupId>
<artifactId>oceanbase-client</artifactId>
<version>2.2.7.2</version>
<scope>system</scope>
<systemPath>${basedir}/src/main/resources/lib/oceanbase-client-2.2.7.2.jar</systemPath>
</dependency>
配置信息如下:
url: jdbc:oceanbase://ip:端口/scheme名
username: 用户名@租户名#集群名 或者 集群名:租户名:用户名
password: 密码
driver-class-name: com.alipay.oceanbase.jdbc.Driver
参数详解,oceanbase的username组成相比于其他数据库连接较特别,支持两种写法即:用户名@租户名#集群名 或者 集群名:租户名:用户名。如果想用使用obclient命令行的方式连接oceanbase,可以参考:使用obclient连接oceabase数据库
完成上面两个步骤后,正常情况下就可以跟使用其他数据库一样使用Mybatis等持久层框架对数据库进行增删改查等操作,但是,如果在项目中使用到了Mybatis-Plus框架,则还需要额外进行处理以下问题。
场景复现: 项目在迁移之前,使用的是Mybatis-Plus框架中的API操作Oracle数据完成分页功能查询,切换到Oceanbase的oracle租户后,执行原来的功能会出现语法问题,提示信息因为使用了oceanbase的oracle租户不支持的limit语法。
问题排查:
经过跟踪Mybatis-plus源码发现,其在获取数据库方言时是根据配置文件中连接数据库url中的协议进行匹配的,这样导致即使使用了oceanbase的oracle组合,在设置方言时也会匹配成oceanbase方言,而不是oracle的方言,从而出现的语法问题。
解决方案:
Mybatis-plus的分页依赖于PaginationInnerInterceptor插件,**可以继承该类重写数据库的查找方言方法,使得在数据库连接url为oceanbase协议时返回的的方言为oracle,这样就可以支持项目由oracle数据库无缝切换到oceanbase的oracle租户(mysql租户时同理)**,重写代码如下:
@Slf4j
@Configuration(value = "PaginationInnerInterceptor")
public class PaginationInnerInterceptorConfig extends PaginationInnerInterceptor {
/**
* 数据库类型
*/
private DbType dbType;
/**
* 方言实现类
*/
private IDialect dialect;
/**
* 重写获取分页方言类的逻辑,使得oceanbase的oracle租户时能够走oracle方言
* @return 分页方言类
*/
@Override
protected IDialect findIDialect(Executor executor) {
String jdbcUrl = null;
try {
Connection conn = executor.getTransaction().getConnection();
jdbcUrl = conn.getMetaData().getURL();
// 项目使用的是oceanbase的oracle租户,方言要使用oracle的,否则会有语法问题
if (jdbcUrl.contains(":oceanbase:") || jdbcUrl.contains(":oracle:")) {
IDialect tempDialect = DialectFactory.getDialect(DbType.ORACLE);
return tempDialect;
}
if (dialect != null) {
return dialect;
}
if (dbType != null) {
dialect = DialectFactory.getDialect(dbType);
return dialect;
}
return DialectFactory.getDialect(JdbcUtils.getDbType(executor));
} catch (Exception e) {
return DialectFactory.getDialect(DbType.OTHER);
}
}
}
从上面的例子看到,在切换到oceanbase时,因为数据库方言的问题导致原有的项目无法无缝切换,那数据库方言到底是什么?为什么需要它呢?
方言: 通俗的理解,方言就是具有有些地方特色的语言,它通常只能被某些地区的人能识别,不同地方可以存在不同的方言,就像广东有粤语,广西有壮语、勉语一样。
数据库中的方言,则可以理解成遵循SQL统一规范前提下不同的拓展实现,如MySQL、Oracle等,在不同的实现中,可能存在相同或者不同的语法,如分页语法:mysql是使用Limit,oracle则使用rownum
对于ORM框架(mybatis、jpa)而言,在上层都是统一封装,无差别调用,比如分页功能,无论底层是使用哪一种类型的数据库,在ORM框架中都是调用某个特定的API接口,但是在实际的底层中,要根据使用了哪些数据库来调用不同的DBAPI,因此需要在ORM中指定使用哪种方言。
比如上文提到的Mybatis-plus框架,则是通过数据库连接的url中的关键字进行设置数据库的方言。
同时,数据库方言可以用来实现对查询的优化,实现分页语句以及count语句的自动生成,方言会生成适合于该特定数据库的效率较高的SQL语法。
数据库驱动程序: 是实现用于连接数据库的协议(ODBC,JDBC)的程序。它是一个将通用接口连接到特定供应商实现的适配器,就像打印机驱动程序一样。
方言: 数据库方言是平台无关软件(JPA,Hibernate等)的配置设置,允许此类软件将其通用SQL语句转换为供应商特定的DDL,DML。
区别: 也就是说,“数据库驱动程序”是具有单一具体含义的公认行业术语,而“数据库方言”未被类似地识别,因此指代不同上下文中的不同概念。
随着世界格局动荡,为了避免关键时刻被“卡脖子”,发展自主可控的国产软件势在必行,数据库作为其中核心的一环,想要搭建健康的生态,需要更多有志之士参与。
Oceanbase作为完全自主研发的国产化分布式数据库,对于想要往国产化迁移的项目以及想要实现完全国产化的公司,确实是一个能够进行参考的选项。