SQL Server 性能优化之——T-SQL NOT IN 和 NOT Exists

这次介绍一下T-SQL中“Not IN” 和“Not Exists”的优化。

Not IN 和 Not Exists 命令 :

有些情况下,需要select/update/delete 操作孤立数据。孤立数据:不存在主表中而存在其关联表中。

操作这样的数据,一般第一反应是利用“Not in” 或 “Not Exists”命令。使用Not IN会严重影响性能,因为这个命令会逐一检查每个记录,就会造成资源紧张,尤其是当对大数据进行更新和删除操作时,可能导致资源被这些操作锁住。

选择NOT IN 还是 NOT Exists

现在SQL Server 中有两个命令可以使用大数据的插入、更新、删除操作,性能方面比NOT IN有很大的提高,语法简单比NOT Exists好很多,写出来的语句看上去很清爽。 现在就请它们闪亮登场,Merge 和 Except。

例子:

首先创建两个表

1 use [MyTest]
2 create table Test1 ([id] int, [name] varchar(20))
3 create table Test2 ([id] int, [name] varchar(20), [address] varchar(100))
1 declare @RowC int
2 declare @Name varchar(20)
3 set @RowC = 0
4 while @RowC < 400000
5 Begin
6 set @Name = 'TestName' + CAST(@RowC as varchar(10))
7 insert into Test1(id, name) values(@RowC, @Name)
8 set @RowC = @RowC+1
9 end
 1 declare @RowC int
 2 declare @Name varchar(20)
 3 declare @Address varchar(100)
 4 set @RowC = 0
 5 while @RowC < 500000
 6 Begin
 7 set @Name = 'TestName' + CAST(@RowC as varchar(10))
 8 set @Address = 'TestAddress' + CAST(@RowC as varchar(10))
 9 insert into Test2([id], [name], [address]) values(@RowC, @Name, @Address)
10 set @RowC = @RowC+1
11 end

使用Not IN命令Select/update/delete操作:

1 SELECT [name] FROM Test2 where [name] not in (select [name] from Test1)
2 UPDATE Test2 SET [name] =N'New_Name' where [name] not in (select [name] from Test1)
3 DELETE Test2 FROM Test2 where [name] not in (select [name] from Test1)

使用性能更好语法更简洁的Merge and Except:

1 merge Test2 T using (select name from Test2 except select name from Test1 )S on t.name=s.name
2 when matched then update SET name=N'New_Name' ;
3 merge Test2 T using (select name from Test2 except select name from Test1 )S on t.name=s.name
4 when matched then delete ;
5 SELECT * FROM Test2 S where not exists (select 1 from Test2 inner join Test1 on Test2.name=Test1.name and Test2.name=s.name)

注意,上面还是有一部分使用了Not Exists:

1 SELECT name FROM Test2 S where not exists (select 1 from Test2 inner join Test1 on Test2.name=Test1.name and Test2.name=s.name)

现在需要使用简洁的Except:

1 select name from Test1 except select name from Test2

在这里只是给出了例子,没有拿出实际的对比数据。但是Merge 和Except 两个命令在大数据的处理方面的性能,要比

Not IN 好很多,代码简洁程度上,要比和Not EXISTS好很多。不管你信不信,反正我信了!!!

 上测试数据喽:Test1中有400000条数据,Test2中有500000条数据其中100000条数据的name是不同

 Select Not IN:18秒

Select Except:几乎没有花费时间

Update Not IN: 19秒

Update Except、Merge:

删除操作和上面两个操作时间基本一样,在这里就不上图片了。

Not Exists性能上面并没有比except好多少。在我的测试数据上,两个几乎是在1秒以内完成操作的!!!

在次谢谢@徐少侠的评价及意见,希望大家看一下。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏黑泽君的专栏

c语言_文件操作_FILE结构体小解释

参考文档来自:https://www.cnblogs.com/haore147/p/3648395.html

21210
来自专栏林德熙的博客

C# BBcode 转 Markdown

本文的方法都是使用正则转换,现在支持的代码只有很少的常用标签,如果大家发现有转换失败的,请帮我修改代码,估计代码我不会进行修改。

6910
来自专栏xingoo, 一个梦想做发明家的程序员

Elasticsearch 连接查询

在一般的关系型数据库中,都支持连接操作。 在ES这种分布式方案中进行连接操作,代价是十分昂贵的。 不过ES也提供了相类似的操作,支持水平任意扩展,实现连接...

351100
来自专栏iOS 开发杂谈

iOS RunTime之六:Category

Category 是 Objective-C 2.0 之后添加的特性,一般我们使用 Category 的场景主要可以动态地为已经存在的类扩展新的属性和方法。这样...

10020
来自专栏魏琼东

基于DotNet构件技术的企业级敏捷软件开发平台 - AgileEAS.NET - 数据关系映射ORM

      上一遍我介绍了AgileEAS.NET中统计的数据访问,本文我将来介绍AgileEAS.NET中的ORM实现思路。关于ORM的概念和介绍,我在此就不...

21780
来自专栏大学生计算机视觉学习DeepLearning

c++ 常用的遍历,删除,分割等等文件处理函数代码实现

原文链接:https://www.cnblogs.com/DOMLX/p/9622851.html

16020
来自专栏Java架构沉思录

聊聊设计模式之模板方法模式

导语 模板方法模式是指在父类中定义好算法的骨架,而把具体的算法步骤交给子类去实现的一种设计模式。模板方式模式可以在不改变算法整体骨架的情况下,对算法的某些步骤...

372110
来自专栏冷冷

Spring整合Hibernate 之 save、saveorupdate、persist方法的区别

这三个方法,也就是save()、saveOrUpdate()和persist()都是用于将对象保存到数据库中的方法,但其中有些细微的差别。例如,save()只能...

230100
来自专栏浪淘沙

java实现输出文件夹下某个格式的所有文件

14210
来自专栏数据之美

关于 MySQL UTF8 编码下生僻字符插入失败/假死问题的分析

1、问题:mysql 遇到某些中文插入异常 最近有同学反馈了这样一个问题: ? 上述语句在脚本中 load 入库的时候会 hang 住,web 前端、命令行操作...

49590

扫码关注云+社区

领取腾讯云代金券