前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >一文看懂.NET ORM 分表分库!

一文看懂.NET ORM 分表分库!

原创
作者头像
用户9161834
修改2021-11-08 10:05:34
1.2K0
修改2021-11-08 10:05:34
举报
文章被收录于专栏:.NET学习.NET学习

.NET ORM 分表分库 怎么做

分表 - 从表面意思上看呢,就是把一张表分成N多个小表,每一个小表都是完正的一张表。分表后数据都是存放在分表里,总表只是一个外壳,存取数据发生在一个一个的分表里面。分表后单表的并发能力提高了,磁盘I/O性能也提高了。并发能力为什么提高了呢,因为查寻一次所花的时间变短了,如果出现高并发的话,总表可以根据不同 的查询,将并发压力分到不同的小表里面。

分库 - 把原本存储于一个库的数据分块存储到多个库上,把原本存储于一个表的数据分块存储到多个表上。数据库中的数据量不一定是可控的,在未进行分表分库的情况下,随着时间和业务的发展,库中的表会越来越多,表中的数据量也会越来越大,相应地,数据操作,增删改查的开销也会越来越大;另外,一台服务器的资源(CPU、磁盘、内存、IO等)是有限的,最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。

2|0情怀满满

分表、分库在 .NET 下可谓是老大难题,简单点可以使用类似 mycat 中间件,但是就 .NET 平台的自身生态,很缺乏类似 sharding-jdbc 这样强大的轮子。

本人就自身有限的技术水平和经验,对分表、分库进行分析,实现出自成一套的使用方法,虽然不极 sharding-jdbc 强大,但是还算比较通用、简单。但愿有朝一日出现一批真正 .NET 大神,造出伟大的开源项目,实现你我心中的抱负。

这套分表、分库方法是建立在 .NET ORM SqlSugar之上做的,内容可能比较抽象,敬请谅解!后续会详解各种租户设计方案,除了按字段区分租户,还包括分库、分表的方案!

3|0入戏准备

SqlSugar是 .Net ORM,能支持 .NetFramework4.0+、.NetCore、Xamarin、XAUI、Blazor、以及还有说不出来的运行平台,因为代码绿色无依赖,支持新平台非常简单。目前单元测试数量:5000+,Nuget下载数量:180K+,源码几乎每天都有提交。 SqlSugar GITHUB: ,为开源社区出一份力。

为什么要重复造轮子?

SqlSugar主要优势在于易用性上,基本是开箱即用,在不同数据库之间切换兼容性比较好。作者花了大量的时间精力在这个项目,肯请您花半小时了解下项目,谢谢。功能特性如下:

支持 CodeFirst 对比结构变化迁移;

支持 DbFirst 从数据库导入实体类;

支持 丰富的表达式函数,自定义解析;

支持 批量添加、批量更新、BulkCopy;

支持 导航属性,贪婪加载、延时加载、级联保存;

支持 读写分离、分表分库,租户设计;

支持 MySql/SqlServer/PostgreSQL/Oracle/Sqlite/达梦/神通/人大金仓;

SqlSugar使用非常简单,【单机数据库】只需要定义一个 SqlSugarScope对象即可:

//创建数据库对象 SqlSugarScope 用法小有区别

static SqlSugarScope scope= new SqlSugarScope(new ConnectionConfig()

{

ConnectionString = "Server=.xxxxx",//连接符字串

DbType = DbType.SqlServer,//数据库类型

IsAutoCloseConnection = true //不设成true要手动close

})

4|0分表

既然是分表,那就大胆认为他是操作【单机数据库】,只需要对实体类进行动态映射表名即可实现,SqlSugar原生用法提供了自动分表语法,例如:

//根据实体自动同步所有的分表结构

db.CodeFirst.SplitTables().InitTables<SplitTestTable>();

//插入时自动分表

var data = new SplitTestTable()

{

CreateTime=Convert.ToDateTime("2019-12-1"),

Name="jack"

};

db.Insertable(data).SplitTable().ExecuteReturnSnowflakeId();//插入并返回雪花ID  

  

SplitTable除了插入数据并且建表和同步结构外,还可以删除、查询、和更新操作

  

var lis2t = db.Queryable<OrderSpliteTest>()

.SplitTable(DateTime.Now.Date.AddYears(-1), DateTime.Now)

.ToOffsetPage(1,2);  //根据时间分表查询

多数情况,我们都建议提前创建好分表,如果按月分表,手工创建一年的分表。

目前这种算是比较简单入门的方案,远不及 mycat、sharding-jdbc 那么智能,比如:

不能利用分表字段自动进行分表映射;

不能在查询时根据 where 条件自动映射分表,甚至跨多个分表的联合查询;

5|0分库(跨服务器)

分库,但是在同一个数据库服务器实例下。这种情况也可以使用 AsTable 方式进行操作,如下:

SqlSugarClient db = new SqlSugarClient(new List<ConnectionConfig>()

{

new ConnectionConfig(){ ConfigId="0", DbType=DbType.SqlServer, ConnectionString=Config.ConnectionString,IsAutoCloseConnection=true },

new ConnectionConfig(){ ConfigId="1", DbType=DbType.MySql, ConnectionString=Config.ConnectionString4 ,IsAutoCloseConnection=true }

});

分库之后,老大难题是事务, SqlSugar自带多租户事务

var mysqldb = db.GetConnection("1");//获取config为1的数据库对象

var sqlServerdb = db.GetConnection("0");//获取默认对象

mysqldb.Queryable<Order>().ToList();

sqlServerdb.Queryable<Order>().ToList();  

6|0写在最后

.NET 生态还处于较弱的状态,呼吁大家支持、踊跃参与开源项目,为下一个 .NET 开源社区五年计划做贡献。

GITHUB源码下载: https://github.com/donet5/SqlSugar

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云硬盘
云硬盘(Cloud Block Storage,CBS)为您提供用于 CVM 的持久性数据块级存储服务。云硬盘中的数据自动地在可用区内以多副本冗余方式存储,避免数据的单点故障风险,提供高达99.9999999%的数据可靠性。同时提供多种类型及规格,满足稳定低延迟的存储性能要求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档