mysql分库分表

基础概念

MySQL分库分表是一种数据库优化策略，用于解决单个数据库或表在高并发、大数据量情况下的性能瓶颈问题。分库分表通过将数据分散到多个数据库或表中，从而提高系统的读写性能和扩展性。

优势

提高性能：通过分散数据，减少单个数据库或表的负载，提高查询和写入速度。
扩展性：便于水平扩展，增加服务器数量以应对更高的并发和数据量。
维护方便：可以针对不同的数据库或表进行独立的维护和管理。

类型

垂直分库：根据业务功能将不同的表划分到不同的数据库中。
水平分表：在同一数据库中，根据某种规则（如哈希、范围等）将数据分散到多个表中。
水平分库分表：结合垂直分库和水平分表，将数据既分散到不同的数据库，又分散到不同的表中。

应用场景

电商系统：订单、商品、用户等数据量巨大，需要分库分表来提高性能。
社交网络：用户信息、好友关系、动态等数据量大，需要分库分表来支持高并发。
金融系统：交易记录、用户信息等数据需要高可用和高性能，分库分表可以提供支持。

常见问题及解决方法

1. 数据一致性问题

问题原因：分库分表后，数据分散在不同的数据库或表中，可能导致数据不一致。

解决方法：

使用分布式事务管理工具，如Seata。
通过消息队列实现最终一致性。

2. 跨库查询问题

问题原因：分库后，跨库查询变得复杂，性能可能下降。

解决方法：

使用中间件如ShardingSphere进行数据路由和查询。
尽量避免跨库查询，通过多次单库查询组合结果。

3. 数据迁移问题

问题原因：分库分表后，数据迁移变得复杂。

解决方法：

使用ETL工具进行数据迁移。
设计合理的分库分表策略，减少未来数据迁移的难度。

4. 分布式ID生成问题

问题原因：分库分表后，需要生成全局唯一的ID。

解决方法：

使用UUID。
使用Snowflake算法生成分布式ID。

示例代码

以下是一个简单的ShardingSphere分库分表配置示例：

spring:
  shardingsphere:
    datasource:
      names: ds0, ds1
      ds0:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        jdbc-url: jdbc:mysql://localhost:3306/db0?useSSL=false&serverTimezone=UTC
        username: root
        password: root
      ds1:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        jdbc-url: jdbc:mysql://localhost:3306/db1?useSSL=false&serverTimezone=UTC
        username: root
        password: root
    sharding:
      tables:
        t_order:
          actual-data-nodes: ds$->{0..1}.t_order_$->{0..1}
          table-strategy:
            inline:
              sharding-column: order_id
              algorithm-expression: t_order_$->{order_id % 2}
          key-generator:
            column: order_id
            type: SNOWFLAKE