03.SQLServer性能优化之---存储优化系列

汇总篇:http://www.cnblogs.com/dunitian/p/4822808.html#tsql 概 述:http://www.cnblogs.com/dunitian/p/6041323.html#com

以下内容皆为个人摸索,没有人专门指导(公司不给力啊!DBA和大牛都木有。。。),所以难免出错,如有错误欢迎指正,小子勇于接受批评~(*^__^*) ~

水平分库分表和垂直分库分表,大家都经常谈,我说下我的理解,看图:

垂直分表就不用说了,基本上会SQLServer的都会。 垂直分库就是根据业务需求来分库,比如教育系列的,可以分为资讯,课程,用户(学生,学校)三个数据库。比如电商的可以分为订单,商品,用户(商家,消费者)三个数据库。这边只是举个例子,具体的你得根据你们自己业务的实际情况来分,不是分的越多越好,最好是遇到瓶颈了再去做这些事情(这个过程才能学到很多东西) 水平分表主要就两种方法,Hash取余法和时间路由法。我重点说下时间路由的方法,这种方案后期扩容和历史数据抽离【结合列索引更劲爆哦~】比较方便。 举个简单的路由表:(时间你可以用传统的格式,我这边用的是时间轴) 这个是文章表的时间路由表,每次查询文章的时候根据查询的时间看看

比如我现在准备写入数据,当前时间 2016/11/18 16:37:29 ==》1479458249 select RTableName from Route_Article where 1479458249<REndTime and 1479458249>RCreateTime 就可以知道我应该往哪个表里面写数据:==》Article2 同理,想查询某个时间的数据也是可以通过路由表知道该往哪个表里面查询

水平分库之前提了一下文件组(http://www.cnblogs.com/dunitian/p/5276431.html)后面还会有一篇文章进行扩展说明(http://www.cnblogs.com/dunitian/p/6078512.html),这边就不说了。 其实企业里面用的最多的是复合型的,比如:水平分库分表 ,水平分库+垂直分库+分表 真的有了这方面的瓶颈的话水平分表一般只能缓解,并不能真正解决,毕竟还是在一台服务器上。单表的数据量是减少了,但是IO,连接数,带宽之类的瓶颈并不能有多大的改善。 水平分库分表可以把IO瓶颈解决一部分,优化效果还是很明显的:

水平分库+垂直分库+分表,这个方案可以利用链接服务器,这样路由表就不用改了,把路由表的表名改成完整的名称(后面会说更好的方法) 看直观图:[192.168.1.250].[BigValues].[dbo].[Article]

我简单模拟一下:我PC的IP是:192.168.1.9 先在远程数据库稍微插点数据:2013-1-1 ~ 2015-1-1的数据,量倒是不多,200W左右

没有跨库查询过的同志,可以先预习一下同义词相关的知识:http://www.cnblogs.com/dunitian/p/6041323.html#tyc 先设置一下链接服务器。我自己摸索的这个方法可能和网上的不太一样,不要慌(没办法,我按照网上的没成功啊+_+)

安全性里面设置一下用户名和密码

可以了,看看吧:

先看看效果:

这个感觉挺好的,一般情况下都是没问题的,但是遇到数据库名字或者表改了就蛋疼了,得改多少东西??关键是不太方便,名字那么长。。。===》so,引入了同义词 create synonym Article for [192.168.1.250].[BigValues].[dbo].[Article]

再看看效果吧:

----------------------------------------------------------------------------------------------------- 是不是感觉特简单,也想改革起来了?(⊙o⊙)…,其实我还是建议快到瓶颈的时候再改,不然你会很蛋疼的,现在我就简单说几个蛋疼的地方~PS:附带我的解决方案 简单说下有哪些问题: 1.全局ID的问题,既然分表了,那么第一件事情就是把自增长去掉,(eg:表A,ID为44,表B,ID为44,那我取44的数据时,取哪个呢?) 一开始我是用GUID的方式,一直认为这个不太好,为啥呢,我一般用户ID或者管理员ID会用GUID,这样Burp的暴力解猜就比较上门槛了(简单使用:http://www.cnblogs.com/dunitian/p/5724872.html) 后来发现,GUID的主键基本上满足需求,但是无序列,而且太长了,排序什么的都各种不方便,后来就找其他方法,很多,比如时间轴,后来发现高并发下还是有重复的(毕竟已经不是单机了)最终采取了雪花算法https://github.com/twitter/snowflake) C#版本的国外朋友已经封装了,大家可以去看看:https://github.com/ccollie/snowflake-net 强大的网友出来个简化版本:http://blog.csdn.net/w200221626/article/details/52064976 简单演示一下:(demo:https://github.com/dunitian/TempCode/tree/master/2016-11-16/Twitter_Snowflake

代码:Snowflake.Instance().GetId() + View Code 2.跨库Join MySQL比较蛋疼,MSSQL好像没那么难,我是用链接服务器+同义词的方法解决的(上面演示的),如果有更好方案可以提点一下小子^_^ 看图:

很多时候可以参考MyCat的一些东西,跨库查询肯定效率没有单机高。有时候会做一些处理来尽量避免跨库Join 比如说表A,表B,表C...常用的全局表我会把他们每个数据库存一遍,这样就方便多了(注意一下数据同步哦) 还有就是冗余一些字段 比如:产品表有这些字段:商品展图ID,展图URL,缩略展图URL。按理说这是不合理的,但是不这么干就得跨库查询了,适当牺牲嘛~ 再比如:订单表里面:用户ID,用户名,店铺ID,店铺名,商品缩略展图。这样也是不合理的,但是。。。商品和订单大家都懂的,牵扯的表太多,有点夸张了~ 以后分库的时候可以参考MyCat的ER分库 (相关联的一起分)

3.跨库排序、聚合等 比如要求Count,那么每个表都得单独求一下Count,然后汇总Count。这个过程可以通过应用程序去完成,毕竟可以根据路由表来统一汇总 排序就比较蛋疼了,如果是按时间分表字段)的还好,因为我们路由表就是按时间分表的,相对简单。如果按照某个字段排序的话。。。。。(⊙o⊙)…没办法就取每个表里面的数据吧。 很多人总是疑惑为什么分页越往后面越慢(按时间不怕,我们就是按时间分表的,你去对应时间区里面取就好了) 比如按字段1排序,每一页20条数据,要求取第一页的数据==》

取第五页的数据==》想想看,这么搞的话,怎么不卡?你们有更好的解决方法可以说,小子比较菜O(∩_∩)O

(⊙o⊙)…,最后说下我最近在研究的解决方案: 分布式数据库访问层:携程DAL ,支持MySQL,SQLServer。支持Net,Java Ctrip DAL支持流行的分库分表操作,支持Java和C#,支持Mysql和MSSqlServer。使用该框架可以在有效地保护企业已有数据库投资的同时,迅速,可靠地为企业提供数据库访问层的横向扩展能力。 开源地址:https://github.com/ctripcorp/dal 文档系列:https://github.com/ctripcorp/dal/wiki/

这个是后备方案:(下午让朋友去问了一些MyCat的作者,他说MyCat开发的时候就没有限定数据库和开发语言,MySQL,SQLServer都是支持的,换个端口而已,开发语言也没什么限制,只要你能连接MyCat就能用) 数据库中间组件:MyCat (我还没研究,改天要是可以就发篇文章) 官网:http://mycat.io/ 文档:https://github.com/MyCATApache/Mycat-doc 开源地址:https://github.com/MyCATApache/Mycat-Server

原文发布于微信公众号 - 我为Net狂(dotNetCrazy)

原文发表时间:2016-11-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏安富莱嵌入式技术分享

【安富莱原创开源应用第1期】花式玩转网络摄像头之TCP上位机软件实现,高端大气上档次,速度2MB/S,华丽丽的界面效果

说明: 1、例子是两年前做的,一直没有顾上整理出来,今天特地整理出来,开源出来给大家玩。 2、上位机是emWin模拟器开发的,大家估计很难猜到,所以你会emWi...

18130
来自专栏腾讯技术工程官方号的专栏

腾讯数据库内核团队资深架构师:TXSQL Internals @2018

? 在ODF2018开源数据库论坛暨首届MariaDB中国用户者大会上,来自腾讯技术工程事业群TEG基础架构部数据库内核团队资深架构师王少华,做了主题为「TX...

20720
来自专栏编程一生

架构师之路--搜索业务和技术介绍及容错机制

14420
来自专栏程序小工

【总结】两个月的工作任务总结

从 2018.4.2 工作以来,不知不觉已经工作两个多月,并在昨天约谈从这个月开始转正。从刚开始的自己学习,到逐渐接触公司的项目,并完成交付的功能模块,学到了很...

24820
来自专栏数据和云

深入解析:Row Movement 的原理和性能影响与关联

作者简介: ? 黄玮(Fuyuncat) 资深Oracle DBA,个人网站www.HelloDBA.com,致力于数据库底层技术的研究,其作品获得广大同行...

29430
来自专栏程序人生

系统开发之设计模式

上周五同事分享了design patterns in networks,里面很多patterns都是做路由器防火墙这样的转发设备之所以高效的精髓所在。「程序人生...

35750
来自专栏BestSDK

Oculus 发布1.5.0版 SDK,新增 Touch 功能

1.5.0 版本 SDK 的发布主要是引入了新的 Touch 的功能,以及为静态层添加了压缩格式的支持。 新特性 · SDK现在可以检测到用户的拇指是否接触到T...

25180
来自专栏Web项目聚集地

我珍藏的神兵利器(软件篇)

快速启动应用+文件搜索+各种实用插件(计算器、翻译、网页快速访问等)。我的最爱,没有它我几乎半残。

44040
来自专栏IT大咖说

容器化RDS|计算存储分离架构下的 IO 优化

摘要 在基于 Kubernetes 和 Docker 构建的私有 RDS 中,普遍采用了计算存储分离架构。该架构优势明显, 但对于数据库类 Latency Se...

37780
来自专栏Java架构

阿里面试题一面:(电话面试:80分32秒)二面: (视频面试:47分钟)三面:(视频面试:22分钟)四面:(交叉面,电话面试:30分钟)

6.6K30

扫码关注云+社区

领取腾讯云代金券