数据库中间件MyCat

什么是MyCat?

查看官网的介绍是这样说的

  • 一个彻底开源的,面向企业应用开发的大数据库集群
  • 支持事务、ACID、可以替代MySQL的加强版数据库
  • 一个可以视为MySQL集群的企业级数据库,用来替代昂贵的Oracle集群
  • 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
  • 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
  • 一个新颖的数据库中间件产品

主要特性

  • 支持SQL92标准
  • 支持MySQL、Oracle、DB2、SQL Server、PostgreSQL等DB的常见SQL语法
  • 遵守Mysql原生协议,跨语言,跨平台,跨数据库的通用中间件代理。
  • 基于心跳的自动故障切换,支持读写分离,支持MySQL主从,以及galera cluster集群。
  • 支持Galera for MySQL集群,Percona Cluster或者MariaDB cluster
  • 基于Nio实现,有效管理线程,解决高并发问题。
  • 支持数据的多片自动路由与聚合,支持sum,count,max等常用的聚合函数,支持跨库分页。
  • 支持单库内部任意join,支持跨库2表join,甚至基于caltlet的多表join。
  • 支持通过全局表,ER关系的分片策略,实现了高效的多表join查询。
  • 支持多租户方案。
  • 支持分布式事务(弱xa)。
  • 支持XA分布式事务(1.6.5)。
  • 支持全局序列号,解决分布式下的主键生成问题。
  • 分片规则丰富,插件化开发,易于扩展。
  • 强大的web,命令行监控。
  • 支持前端作为MySQL通用代理,后端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉。
  • 支持密码加密
  • 支持服务降级
  • 支持IP白名单
  • 支持SQL黑名单、sql注入攻击拦截
  • 支持prepare预编译指令(1.6)
  • 支持非堆内存(Direct Memory)聚合计算(1.6)
  • 支持PostgreSQL的native协议(1.6)
  • 支持mysql和oracle存储过程,out参数、多结果集返回(1.6)
  • 支持zookeeper协调主从切换、zk序列、配置zk化(1.6)
  • 支持库内分表(1.6)
  • 集群基于ZooKeeper管理,在线升级,扩容,智能优化,大数据处理(2.0开发版)

下载及安装

到官网根据系统类型进行下载:http://mycat.io/

将下载文件解压,目录如下:

各个目录简要说明:

bin:启动目录 catlet: 扩展功能 conf:配置文件目录 server.xml:是Mycat服务器参数调整和用户授权的配置文件 schema.xml:是逻辑库定义和表以及分片定义的配置文件 rule.xml: 是分片规则的配置文件,分片规则的具体一些参数信息单独存放为文件,也在这个目录下,配置文件修改需要重启MyCAT log4j.xml: 日志存放在logs/log中,每天一个文件,日志的配置是在conf/log4j.xml中,根据自己的需要可以调整输出级别为debug,debug级别下,会输出更多的信息,方便排查问题 autopartition-long.txt,partition-hash-int.txt,sequence_conf.properties, sequence_db_conf.properties 分片相关的id分片规则配置文件 lib:jar包目录 logs :日志目录

进入bin目录,通过管理员身份打开DOS窗口,分别执行命令:

mycat install mycat start

这样就可以启动mycat了。

核心配置

server.xml : 设置账号、参数等 schema.xml : 物理数据库和数据库表的配置 rule.xml : 分片(分库分表)规则 关于配置的详细介绍可以参考 https://www.cnblogs.com/joylee/p/7513038.html 或者官网 http://www.mycat.io/document/mycat-definitive-guide.pdf

示例

首次认识mycat,最容易是从示例着手去了解,比如此次示例是结合mysql完成数据的分库分表,进行横向扩展。

首先需要准备几个mysql的服务器,通过docker构建,具体怎么可以参考网上,大致步骤如下:

1、下载mysql镜像: docker pull mysql 2、启动容器:docker run -di -p 32768:3306 --name mysql1 -e MYSQL_ROOT_PASSWORD=123456 mysql ,输入容器id 3、通过容器id进入容器,docker exec -it <id> /bin/bash 4、进入mysql:mysql -u root -p -> 123456 5、添加远程连接用户与密码:GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456'; 6、权限:flush privileges;

如果不出意外则可以连接,因为我是通过本地虚拟机安装docker,默认端口192.168.99.100。现在根据下载的镜像启动3个容器,修改不同的端口。

通过客户端工具分别连接以上三个数据库,并且建表:

创建数据库:TESTDB 建表:

 CREATE TABLE `employee` (
   `id` int(11) NOT NULL,
   `name` varchar(56) DEFAULT NULL,
   PRIMARY KEY (`id`)
 ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
 

1、修改server.xml配置文件

     <user name="root" defaultAccount="true">
         <property name="password">123456</property>
         <!-- 连接时用这个名字,比如 jdbc:mysql://localhost:8066/TESTDB -->
         <property name="schemas">TESTDB</property>
     </user>
 

2、修改schema.xml

     <schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100">
         <table name="employee" primaryKey="ID" dataNode="dn1,dn2,dn3"  rule="mod-long" />
     </schema>
     <!-- name节点名,与上对应;dataHost:真实数据库配置;database:数据库表配置 -->
     <dataNode name="dn1" dataHost="host1" database="TESTDB" />
     <dataNode name="dn2" dataHost="host2" database="TESTDB" />
     <dataNode name="dn3" dataHost="host3" database="TESTDB" />
     <dataHost name="host1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
         <heartbeat>select 1</heartbeat>
         <writeHost host="hostS1" url="192.168.99.100:32768" user="root" password="123456" />
     </dataHost>
     <dataHost name="host2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
         <heartbeat>select 1</heartbeat>
         <writeHost host="hostS2" url="192.168.99.100:32769" user="root" password="123456" />
     </dataHost>
     <dataHost name="host3" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
         <heartbeat>select 1</heartbeat>
         <writeHost host="hostS3" url="192.168.99.100:39770" user="root" password="123456" />
     </dataHost>
 

3、修改rule.xml

 上面<table>配置了rule="mod-long",在rule.xml有相关的描述,修改下面参数,与上面dataNode数量对应
     <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
         <!-- how many data nodes -->
         <property name="count">3</property>
     </function>
 

这样mycat的配置就完成了,由于修改了配置,我们将mycat重启,进入bin,mycat restart。

测试

由于之前使用了mybatis-plus+springboot的项目,所有就用了这个:

application-mycat.properties:

mybatis-plus.mapper-locations=classpath*:com/sucl/sbmp/*/mapper/**Mapper.xml
mybatis-plus.type-aliases-package=com.sucl.sbmp.*.entity
mybatis-plus.global-config.refresh=true
#mybatis-plus.global-config.db-config.db-type=mysql
mybatis-plus.configuration.map-underscore-to-camel-case=true
mybatis-plus.configuration.cache-enabled=false


mp.datasource.driver-class-name=com.mysql.jdbc.Driver
mp.datasource.url=jdbc:mysql://localhost:8066/TESTDB?useUnicode=true&useSSL=false&characterEncoding=utf8
mp.datasource.username=root
mp.datasource.password=123456
mp.datasource.validation-query=select '1'
mp.datasource.testOnBorrow=true

实体:

@Data
public class Employee {

    @TableId(type = IdType.INPUT)
    private long id;

    @TableField(value = "name")
    private String name;
}

mapper:

public interface EmployeeMapper extends BaseMapper<Employee> {

}

service:

@Service
@Transactional
public class EmployeeServiceImpl extends ServiceImpl<EmployeeMapper,Employee> implements EmployeeService {

}

测试:

@ActiveProfiles("mycat")
@RunWith(SpringRunner.class)
@SpringBootTest
public class SbmpTest {
    @Autowired
    private EmployeeService employeeService;

    @Transactional
    @Rollback(false)
    @Test
    public void save(){
        List<Employee> employees = new ArrayList<>();
        for(int i=0;i<100;i++){
            Employee employee = new Employee();
            employee.setId(i);
            employee.setName("name"+i);
            employees.add(employee);
        }
        employeeService.saveBatch(employees);
    }

    @Test
    public void get(){
        List<Employee> employees = employeeService.list(null);
        employees.stream().forEach(System.out::println);
    }

}

分别执行两个方法,会根据id在三个数据库中分别插入数据:

查询时则可以查看三个表中所有的数据,可见数据是根据id离散在不同表中,具体的策略在于之前的mod-long相关配置。

此章主要对mycat做一个初步认识,同时根据简单的示例了解其基本的工作原理,当然mycat可以帮助我们实现实现数据库的读写分离、数据库水平垂直拆分、集群等功能,但同时不得不面对相应情况下的问题。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券