ASP.NET + SqlSever 大数据解决方案 PK HADOOP

ASP.NET + SqlSever 大数据解决方案 PK HADOOP

半个月前看到博客园有人说.NET不行那篇文章,我只想说你们有时间去抱怨不如多写些实在的东西。

1、SQLSERVER优点和缺点?

优点:支持索引、事务、安全性以及容错性高

缺点:数据量达到100万以上就需要开始优化了,一般我们会对 表进行水平拆分,分表、分区和作业同步等,这样做大大提高了逻辑的复杂性,难以维护,只有群集容错,没有多库负载均衡并行计算功能。

2、SQLSERVER真的不能处理大数据?

答案:当然可以的,打个比方:操作单一数据库称为一维操作,如果操作相同结构,分布在多个服务器上的多个数据库这个可以称为二维操作。 我们只需要对这个二维操作进行一层封装,让他支持并行运算,把服务器压力分散开,我们不需要写太多东西,SQL已经为我们封装了很多,它就好比是一个巨人,而我们只需要站在他的肩膀上,就可以轻松实现针对WEB的大数据处理。

3、hadoop适不适合.NET,他有哪些缺点?

(1)、数据同步慢

(2)、事务处理难

(3)、异常捕获难

(4)、很难与ASP.NET结合,无论是学习学成本,还是自身的支持方面

(5)、 需要安装,适合离线大数据处理,但未必适合WEB

4、什么是SqlSugar框架?

SqlSugar是一款基于SqlSever的轻量级高性能ORM框架,除了具有和ADO.NET匹敌的性能外,现在已经支持多库并行计算。

优点:

(1)、适合海量数据的无延迟查询

(2)、支持分布式事务

(3)、让JOIN飞起来,告别大数据NOJOIN

(4)、C#.NET自家语法和大量封装函数

(5)、随机存储,也就是说可以存储在任意一个节点数据库,做到真正正的负载均衡,而不是以往主从模式的读写分离。

缺点: SqlServer授权费太贵,适合有钱的公司或者不交授权费的创业小企业

SqlSugar学习目录

1、SqlSugar基础应用

2、使用SqlSugar处理大数据

3、使用SqlSugar实现Join 待更新

4、使用SqlSugar实现分页+分组+多列排序 待更新

5、节点故障如何进行主从调换

》》》》2、使用SqlSugar处理大数据《《《

1、SqlSugar的原理

Insert: 随机存储到某个节点数据库(每个节点可以配置处理的机率,如果设置为0表示该节点不会有新数据添加进来)

Update、Delete:异步请求所有数据库节点同步汇总处理结果

Search: 对分页前X页、后X页和PageCount<1000(1000这个值可以在程序中设置)的数据进行了特殊优化,其它数据进行了异步节点算法同步对结果进行汇,性能在多服务器架构中可以完美的体现出来,在单服务器架构需要注意保证足够IO,避免全表扫描,否则起不到优化效果。

1、单服务器、单硬盘、多库架构:

适合低并发,数据量在1亿以下,响应速度有较高要求,建议数据量最好不要超过1000W,在查询中避免全表扫描,充分利用io性能,让异步的优势体现出来。

如图:

对部署在同一台PC机上的10个同结构库进行了模糊搜索

name建了全文索引,id和num建立了复合索引

十个库加起来总共有540万条数据 ,普通机械硬盘 只用了0.3秒的时间。

2、单服务器、多硬盘或阵列:

可以使用LIKE等进行全表扫描,性能有明显的提升

3、多服务器、多库架构

因为把压力分摊各个节点所在服务器上,所以可以轻松处亿级以上的数据,节点服务器越多,处理的数据量就越大,就越快,就算是T级数据,秒查也不是事儿,只需N台廉价的PC。

2、用法

1、引用SqlSugar.dll

2、配置连接字符串

其中rate是Insert时存储到某节点的机率,0表示不会有新数据添加到该节点,下面设置都为1表示我一点都不偏心

3、添、删、改用法

4、启用分布式事务

服务器需要开启MSDTC等服务

5、Taskable是所有分布式计算的底层核心

分页、分组等复杂的查询都从这里展开,支持DataTable、T:Class、值类型 三种类型,能够方便的把多库的结果同步汇总到一个容器中。

使用Taskable需要注意每个节点获取的数据量都不能很大,通过少取多,内存运算,在取在运算的方式处理复杂数据的查询。

6、使用Taskable进行分组查询

统计类报表类的查询,查询结果集不会太大,完全可使用Taskable进行处理,Merge方法能够将所有库查询的结果集合并到一个新的集合

7、使用Taskable扩展函数,让你处理多库运算更加方便。

8、分布式分页

考虑了分库机制,主键建议使用GUID来保证独一,只有主键唯一才可以使用该分页函数

分页是通过 节点数 每页显示条数 当前页码 等算出一个初步的索引,然后取出这个索引位置所在的数据,在算出这个数据的真实索引 与 page begin比较在算出一个新的索引直到找到精准位置在把数据读出来。原理是这样子的。

至于原理我就不多讲了,一个贴子也说不完

源码地址:https://github.com/sunkaixuan/SqlSugar 哈哈 我已经尽力了, 不管好坏为了给个赞哈

原文发布于微信公众号 - 我为Net狂(dotNetCrazy)

原文发表时间:2015-12-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏about云

比Hive快279倍的数据库-ClickHouse到底是怎样的

1.什么是ClickHouse? 2.ClickHouse适合哪些场景? 3.为什么面向列的数据库查询如此快? 1.什么是ClickHouse ClickHo...

3764
来自专栏数据和云

藏在表分区统计信息背后的小秘密

作者介绍 ? 曾令军 云和恩墨技术专家,8年数据库运维经验。思维敏捷,擅长于数据库开发、解决棘手的数据库故障和性能问题,在数据库故障诊断、运维监控、性能优化方面...

2775
来自专栏idba

死锁案例之八

死锁其实是一个很有意思也很有挑战的技术问题,大概每个DBA和部分开发朋友都会在工作过程中遇见。关于死锁我会持续写一个系列的案例分析,希望能够对想了解死锁的朋友有...

742
来自专栏python3

python语音识别

语音识别技术,也被称为自动语音识别,目标是以电脑自动将人类的语音内容转换为相应的文字。应用包括语音拨号、语音导航、室内设备控制、语音文档检索、简单的听写数据录入...

2.1K4
来自专栏杨建荣的学习笔记

闪回数据库不是“万金油”(r11笔记第73天)

闪回数据库这个特性在很多Oracle DBA眼里就是鸡肋特性,因为谁会因为恢复数据而需要在主库闪回,最后可能丢掉更多的数据,这个观点没错。 但是...

3346
来自专栏腾讯Bugly的专栏

【Dev Club 分享】微信 iOS SQLite 源码优化实践

Dev Club 是一个交流移动开发技术,结交朋友,扩展人脉的社群,成员都是经过审核的移动开发工程师。每周都会举行嘉宾分享,话题讨论等活动。 本期,我们邀请了腾...

3758
来自专栏牛客网

链家,阿里面经链家:阿里:

今天下午面的北京链家现场面,虽然凉凉还是总结下面经吧~ 链家: 一面: 拿出手机问我笔试做错的一道笔试怎么分析,提醒了半天我也没想到(实际是拆装箱相关的知识)...

7759
来自专栏Hadoop数据仓库

HAWQ取代传统数仓实践(十四)——事实表技术之累积快照

一、累积快照简介         累积快照事实表用于定义业务过程开始、结束以及期间的可区分的里程碑事件。通常在此类事实表中针对过程中的关键步骤都包含日期外键,并...

4295
来自专栏xingoo, 一个梦想做发明家的程序员

循序渐进,了解Hive是什么!

一直想抽个时间整理下最近的所学,断断续续接触hive也有半个多月了,大体上了解了很多Hive相关的知识。那么,一般对陌生事物的认知都会经历下面几个阶段: ...

2515
来自专栏散尽浮华

分布式监控系统Zabbix3.4-钉钉告警配置记录

群机器人是钉钉群的高级扩展功能,群机器人可以将第三方服务的信息聚合到群聊中,实现自动化的信息同步。例如:通过聚合GitHub,GitLab等源码管理服务,实现源...

3985

扫码关注云+社区

领取腾讯云代金券