Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >[NewLife.XCode]扩展属性(替代多表关联Join提升性能)

[NewLife.XCode]扩展属性(替代多表关联Join提升性能)

作者头像
大石头
发布于 2019-05-24 12:30:33
发布于 2019-05-24 12:30:33
76400
代码可运行
举报
文章被收录于专栏:智能大石头智能大石头
运行总次数:0
代码可运行

NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netstandard,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode。

整个系列教程会大量结合示例代码和运行日志来进行深入分析,蕴含多年开发经验于其中,代表作有百亿级大数据实时计算项目。

开源地址:https://github.com/NewLifeX/X (求star, 743+)

为何需要扩展属性

XCode不支持多表关联查询,单表查询利于优化以及分表分库,一切Join都可以借助扩展属性实现,配合缓存使用可以达到更好的效果!

(XCode前期支持多表关联,直到2008年才正式废除)

“扩展属性”是2007年起XCode特有叫法,不同于其它任何场景的意义(如Silverlight/WPF)

前文《实体类详解》中有提到一个学生班级的实体类模型,一个典型需求是查询学生列表时希望暂时班级名称或者其它信息。于是有:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
select s.*, c.name where student s left join class c on s.classid=c.id

sql语法千变万化,如果要支持多表关联join,就很难做到统一查询风格,更是难以优化。

于是XCode放弃支持多表关联,宁可拆分为多次查询。令人惊讶的是,不仅性能没有下降,反而大大提升了,主要因为单表小查询有多级缓存的加持!

扩展属性用法

使用扩展属性来实现关联查询,本质上就是多次查询!

如上,这是一个经典的多表关联场景,学生表带有班级ID字段,同样还有产品和分类表等等。

这是XCode根据模型文件自动生成的代码,因为字段名ClassID刚好是Class表加上它的主键ID,并且都是整型。

对于实体对象来说,student.Name是学生名称,student.ClassName是班级名称。

看起来它们就像是一张表的属性字段,这就是扩展属性的由来,不仅仅是多表关联属性,还可以是其它属性,为区别于数据字段属性,统称为扩展属性!

扩展属性先准备一个Class属性,再加一个ClassName,主要是为了方便某些场合使用 student.Class。

当然,执行一次查询得到student后,不论是访问student.Class还是访问student.ClassName,都会触发一次Class.FindByID,可以理解为执行一次查询(不一定是数据库)。

在Web页面上,如果每页显示20个学生,那么先要执行 select * from student limit 20,然后展示学生列表时,因为需要班级名称,触发扩展属性查询。

可以认为,理论上这个页面需要查询1+20次。

扩展属性为什么不写成 public Class Class => Class.FindByID(ClassID) 呢?

其实虽然看起来简单,但是还得考虑一个可能,同一个student对象可能多次访问student.ClassName,这么写岂不是每次访问都会执行Class.FindByID?

因此,XCode设计了扩展集合Extends,可以认为是一个字典,每个扩展属性都经过它走一遭,如果查询过一次就缓存起来,避免反复查询。

Extends.Get第一个属性是扩展属性名,决定是否有缓存,第二个是没有缓存时要执行的委托。

这就是扩展属性缓存,默认缓存时间10秒,足够抗住短期内成千上万次重复调用。

扩展属性优化

尽管有Extends扩展属性缓存支持,但每个对象还是要执行一次Class.FindByID查询,损耗还是不小的。

在XCode里面,根据主键而设计的查询(如FindByID)往往带有很好的缓存优化。

如上,这是XCode默认生成的代码,当Class表数据不足1000行时,走实体缓存。

也就是说,Meta.Cache时执行一次 select * from student 返回所有行,并缓存起来。后面的Find实际上是在缓存中查找。实体缓存有效期默认10秒。

只有数据表达到1000行,才走 Find(_.ID==id) 数据库查询 select * from class where id=? 。然而XCode下层还有一个数据层缓存,相同select查询默认缓存10秒

此外,也可以根据业务特点采用单对象缓存,例如跨境电商的产品种类特别多(10万+),可以采用字典式的单对象缓存。

因此,在学生类那边看起来访问属性会触发多次Class.FindByID,殊不知它内部别有洞天,三级缓存(实体缓存、对象缓存、数据缓存)等着伺候!(后续专文介绍缓存)

回到开头的例子,一个列表页显示20个学生,理论查询次数1+20次,在多级缓存加持的扩展属性下,99.99%的时候只会查询1次,而班级表的关联,完全在内存缓存中进行。

一次简单的单表查询,显然要比join班级表的查询要快得多!

魔方的特别支持

在上述扩展属性中,注意到ClassName属性上有一个Map特性。

它表示映射,本对象的ClassID字段,映射到Class类的ID字段。

在魔方列表页中,本来显示冷冰冰ClassID的地方,就会变为显示友好的ClassName。

在魔方表单页中,本来显示数字框ClassID的地方,也会变成显示下拉列表框。

如果下拉列表库内容很多,可以精简Map特性,只要第一个参数指明本地字段,而不需要第二第三字段表示的目标字段。此时在魔方表单页会显示数字框,但是后面显示ClassName

到此,你还认为多次查询一定比单次Join慢吗?

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019-04-01 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
[NewLife.XCode]实体列表缓存(最土的方法实现百万级性能)
NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netcore,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode。
大石头
2019/05/24
8360
[NewLife.XCode]实体类详解
NewLife.XCode是一个有10多年历史的开源数据中间件,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode。
大石头
2019/05/24
1.3K0
[NewLife.XCode]高级查询(化繁为简、分页提升性能)
NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netcore,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode。
大石头
2019/05/24
1.3K0
Thinkphp5学习017-项目案例-多表关联查询
2.修改控制器controller\Student.php中的all()方法为多表联动查询
哆哆Excel
2022/10/25
5050
Thinkphp5学习017-项目案例-多表关联查询
[NewLife.XCode]对象字典缓存(百万军中取敌首级)
NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netcore,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode。
大石头
2019/05/24
1.2K0
[NewLife.XCode]增量累加
NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netstandard,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode。
大石头
2019/05/24
1.7K0
[NewLife.XCode]百亿级性能
NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netcore,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode。
大石头
2019/05/24
9710
[NewLife.XCode]高级增删改
NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netstandard,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode。
大石头
2019/05/24
1.6K0
充血模型的ORM能做什么?——ORM组件XCode(十八般武艺)
ORM组件XCode(十八般武艺) 之前,XCode总是若隐若现,耐性好的同学想知道它还有啥特点,沉不住气的则认为不过是CURD耳! XCode开发模式是灵魂,XCode组件通过具体实现对其支持! XCode的特点如下: 0、基本的CURD功能 实在想不出来不支持CURD的ORM算不算ORM;也实在想不出来仅有CURD的ORM算不算ORM。因而,这是0号功能! XCode的CURD通过反射实体类生成查询和操作SQL实现,数据库结构信息通过特性附在实体类上。之所以选择SQL而不是DbCommand,因为XCo
大石头
2018/01/15
1.2K0
[NewLife.XCode]导入导出(实体对象百变魔君)
NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netcore,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode。
大石头
2019/07/01
1.2K0
[NewLife.XCode]导入导出(实体对象百变魔君)
_MyBatis注解开发---实现自定义映射关系和关联查询
会洗碗的CV工程师
2023/11/21
3290
_MyBatis注解开发---实现自定义映射关系和关联查询
数据映射组件NewLife.XCode优势
数据映射组件XCode优势 XCode是一个超越了ORM范围的映射组件,除了对象到关系数据库的映射外,还有到网络和其它二进制形式等的映射,所以称之为数据映射组件。 相对于国内外其它ORM,XCode具有以下优势: 1,采用最好的分页算法,高效处理海量数据。数据分页的思想贯穿整个XCode的生命周期,任何一个不论大小的测试,数据样本都是单表一千万起。其它很多ORM,在数据达到百万之后会变慢,达到千万后基本上就卡死了。XCode同时支持最流行的几大数据库分页算法,经过10多年的经验积累,根据数据库类型、版本以及
大石头
2018/01/15
9290
【MySQL探索之旅】多表查询
笛卡尔积就是得到了一个更大的表. 列数就是原来两个表列数的之和. 行数就是原来两个表行数之乘.
爱敲代码的小杨.
2024/05/07
790
【MySQL探索之旅】多表查询
_Mybatis关联查询【附实战案例】
会洗碗的CV工程师
2023/11/20
1860
_Mybatis关联查询【附实战案例】
spring data mongodb dbref 关联查询
今天我们学习下DBRef的使用,用过mongodb的都知道mongodb不能做关联查询,关系型数据库中是可以的,当然我们不要用关系型数据库的思想来用nosql。 但是实际应用中也是会有类似的需求的。 我们就以学生和班级的关系来讲解一对一以及一对多的关联操作。 一个班级有多个学生,班级对学生是一对多的关系 一个学生属于一个班级,学生对班级是一对一的关系 如果用mysql那么就是下面2张表: 班级表: classId className 学生表: studentId studentName classId 查询
猿天地
2018/04/03
4.4K0
面试官:为什么mysql不建议执行超过3表以上的多表关联查询?
前段时间在跟其他公司DBA交流时谈到了mysql跟PG之间在多表关联查询上的一些区别,相比之下mysql只有一种表连接类型:嵌套循环连接(nested-loop),不支持排序-合并连接(sort-merge join)与散列连接(hash join),而PG是都支持的,而且mysql是往简单化方向去设计的,如果多个表关联查询(超过3张表)效率上是比不上PG的。
本人秃顶程序员
2019/06/09
8.6K0
面试官:为什么mysql不建议执行超过3表以上的多表关联查询?
MyBatis学习总结(三)——多表关联查询与动态SQL
假定一个员工(emp)拥有一个登录用户(user),员工与用户表之间是一对一关系:
张果
2018/10/09
8.2K0
MyBatis学习总结(三)——多表关联查询与动态SQL
Spring Boot入门系列(十七)Mybatis创建自定义mapper 实现多表关联查询!
之前讲了Springboot整合Mybatis,介绍了如何自动生成pojo实体类、mapper类和对应的mapper.xml 文件,并实现最基本的增删改查功能。mybatis 插件自动生成的mapper 实现了大部分基本、通用的方法,如:insert、update、delete、select 等大概20个左右方法,都是比较基础的增删改查,这些通用Mapper提供的方法基本都能满足各种单表操作需求。
架构师精进
2020/08/18
4K0
salesforce 零基础开发入门学习(四)多表关联下的SOQL以及表字段Data type详解
本文介绍了在Salesforce中如何实现表关联,并通过实例展示了如何使用自定义对象实现表关联。首先介绍了表关联的概念和作用,然后讲解了如何在Salesforce中实现自定义对象的创建和配置,并通过实例展示了如何使用自定义对象实现表关联。最后介绍了表关联的DML操作,包括增加、删除和更新表关联。
Zero-Zhang
2018/01/05
2.6K1
salesforce 零基础开发入门学习(四)多表关联下的SOQL以及表字段Data type详解
SQL语句多表关联查询语法
SQL语句:select * from student left join score on student.Num=score.Stu_id;
用户2038009
2021/03/07
4.1K0
推荐阅读
相关推荐
[NewLife.XCode]实体列表缓存(最土的方法实现百万级性能)
更多 >
领券
社区富文本编辑器全新改版!诚邀体验~
全新交互,全新视觉,新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能,全面提升创作效率和体验
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文