标签:VBA 自Excel 2010发布以来,已经具备删除工作表中重复行的功能,如下图1所示,即功能区“数据”选项卡“数据工具——删除重复值”。...图1 使用VBA,可以自动执行这样的操作,删除工作表所有数据列中的重复行,或者指定列的重复行。 下面的Excel VBA代码,用于删除特定工作表所有列中的所有重复行。...,假设标题位于第一行。...如果只想删除指定列(例如第1、2、3列)中的重复项,那么可以使用下面的代码: Sub DeDupeColSpecific() Cells.RemoveDuplicates Columns:=Array...(1, 2, 3), Header:=xlYes End Sub 可以修改代码中代表列的数字,以删除你想要的列中的重复行。
事务B在这期间插入了1条数据,按道理数据库其实有3条数据了,但由于可重复读的隔离级别,事务A依然还是只能读到2条数据。...那如果不可避免要使用count(),有没有办法让它快一点? 各种count()方法的原理 count()的括号里,可以放各种奇奇怪怪的东西,想必大家应该看过,比如放个星号*,放个1,放个索引列啥的。...知道真相的我眼泪掉下来。 那有没有其他更好的办法?...explain里的rows 有些语言的orm里可能没有专门的explain语法,但是肯定有执行raw sql的功能,你可以把explain语句当做raw sql传入,从返回的结果里将rows那一列读出来使用...实时性要求较高的场景 如果你对这个cnt计算结果的实时性要求很高,那你需要将更新cnt的sql加入到对应变更行数的事务中。 比如我们有两个事务A和B,分别是增加未发送短信和减少未发送短信。
包含班级名和班级所在的教室 如果班级没有名字,你不知道你在哪个班级,如果教室名字可以为空,就不知道在哪上课 所以在设计数据库表的时候,一定要在表中进行限制,满足上面条件的数据就不能插入到表中,这就是...0来填充,对于满足的不做改变 int(5)中括号里的数字是代表什么意思呢,其实没有zerofill这个属性,括号内的数字是毫无意义 示例: 注意:这只是最后显示的结果,数据库内部存储的还是1,00001...索引提供指向存储在表的指定列中的数据值的指针,然后根据您指定的排序顺序对这些指针排序 数据库使用索引以找到特定值,然后顺指针找到包含该值的行。...这样可以使对应于表的SQL语句执行得更快,可快速访问数据库表中的特定信息 7、唯一键 一张表中有往往有很多字段需要唯一性,数据不能重复,但是一张表中只能有一个主键:唯一键就可以解决表中有多个字段需要唯一性约束的问题...,不创建外键约束,就正常建立学生表,以及班级表,该有的字段我们都有,在实际使用的时候,可能会出现有没有可能插入的学生信息中有具体的班级,但是该班级却没有在班级表中,这很明显是有问题的 因为此时两张表在业务上是有相关性的
4.replace 我们经常会有替换字符串中部分内容的需求,比如:将字符串中的字符A替换成B。 这种情况就能使用replace函数。...,非常轻松插入到brand表中。...但如果brand表中已经存在name为苏三的数据了,则该sql语句也能正常执行,并不会报错。因为它会忽略异常,返回的执行结果影响行数为0,它不会重复插入数据。...8.select ... for update MYSQL数据库自带了悲观锁,它是一种排它锁,根据锁的粒度从大到小分为:表锁、间隙锁和行锁。...例如: create table order_2022121820 select * from `order`; 执行完之后,就会将order_2022121820表创建好,并且将order表中的数据自动插入到新创建的
JOIN – 多表关联 JOIN 用于根据两个或多个表中的列之间的关系,从这些表中查询数据。 有时为了得到完整的结果,我们需要从两个或更多的表中获取结果。我们就需要执行 join。...数据库中的表可通过键将彼此联系起来。主键(Primary Key)是一个列,在这个列中的每一行的值都是唯一的。在表中,每个主键的值都是唯一的。...这样做的目的是在不重复每个表中的所有数据的情况下,把表间的数据交叉捆绑在一起。 如图,“Id_P” 列是 Persons 表中的的主键。这意味着没有两行能够拥有相同的 Id_P。...如果查询结果需要显示重复的值,请使用 UNION ALL。...VIEW – 视图 在 SQL 中,视图是基于 SQL 语句的结果集的可视化的表。 视图包含行和列,就像一个真实的表。视图中的字段就是来自一个或多个数据库中的真实的表中的字段。
ALL选项表示将所有行合并到结果集合中。不指定该项时,被联合查询结果集合中的重复行将只保留一行。 联合查询时,查询结果的列标题为第一个查询语句的列标题。因此,要定义列标题必须在第一个查询语 句中定义。...内连接分三种: 1、等值连接:在连接条件中使用等于号(=)运算符比较被连接列的列值,其查询结果中列出被连接表中的所有列,包括其中的重复列。...3、自然连接:在连接条件中使用等于(=)运算符比较被连接列的列值,但它使用选择列表指出查询结果集合中所包括的列,并删除连接表中的重复列。...使用SQL修改已经建立的表是很困难的。例如,如果你向一个表中添加了一个字段,没有容易的办法来去除它。另外,如果你不小心把一个字段的数据类型给错了,你将没有办法改变它。...使用SQL修改已经建立的表是很困难的。例如,如果你向一个表中添加了一个字段,没有容易的办法来去除它。另外,如果你不小心把一个字段的数据类型给错了,你将没有办法改变它。
INSERT – 插入数据 INSERT INTO 语句用于向表格中插入新的行。...有时为了得到完整的结果,我们需要从两个或更多的表中获取结果。我们就需要执行 join。 数据库中的表可通过键将彼此联系起来。主键(Primary Key)是一个列,在这个列中的每一行的值都是唯一的。...语法: select 列名 from 表A INNER|LEFT|RIGHT|FULL JOIN 表B ON 表A主键列 = 表B外键列; 不同的 SQL JOIN: 下面列出了您可以使用的 JOIN...如果查询结果需要显示重复的值,请使用 UNION ALL。...VIEW – 视图 在 SQL 中,视图是基于 SQL 语句的结果集的可视化的表。 视图包含行和列,就像一个真实的表。视图中的字段就是来自一个或多个数据库中的真实的表中的字段。
因此在建立联合索引的时候应该注意索引列的顺序,一般情况下,将查询需求频繁或者字段选择性高的列放在前面。此外可以根据特例的查询或者表结构进行单独的调整。 事务 什么是数据库事务?...就是把多个结果集集中在一起,UNION前的结果为基准,需要注意的是联合查询的列数要相等,相同的记录行会合并 如果使用UNION ALL,不会合并重复的记录行 效率 UNION ALL 高于 UNION...key,将数据定位到限定的表上去查,而不是扫描全部的表; 超大分页怎么处理?...解决办法:使用limit解决 多表关联返回全部列。解决办法:指定列名 总是返回全部列。解决办法:避免使用SELECT * 重复查询相同的数据。...解决办法: 使用explain进行分析,如果发现查询需要扫描大量的数据,但只返回少数的行,可以通过如下技巧去优化: 使用索引覆盖扫描,把所有的列都放到索引中,这样存储引擎不需要回表获取对应行就可以返回结果
1.2 插入查询结果(删除表中的重复记录) 1. insert除了直接插入数据外,还支持插入select查询到的结果,如果要删除表中重复的记录,我们想要让这个操作是原子的。...那我们就可以新建一个no_duplicate_table,然后查询duplicate_table中不重复的数据,也就是在select查询时,添加关键字distinct,将查询到的结果插入到表no_duplicate_table...,因为索引只能提升部分数据的查询,查询的数据一旦涉及到索引中没有包含的列字段,则此时就无法使用B+索引结构来优化查询的速度,数据库系统只能遍历整个表的所有行来进行查找,这会大大降低查询速度。...count函数除外,count括号内的字段可以是数字,列字段名,通配符等等,因为count只负责统计表中记录(表中的一行数据成为记录)的个数,所以count比较特殊,其他的四个聚合函数括号内的字段只能是值为数字的列字段名...合并查询就是将多个select的查询结果合并到一起,union在合并时,会自动去掉重复的行(两个所有列字段完全重复的行),union all不会去掉重复的行。
就是把多个结果集集中在一起,UNION前的结果为基准,需要注意的是联合查询的列数要相等,相同的记录行会合并 如果使用UNION ALL,不会合并重复的记录行 效率 UNION 高于 UNION...UNION与UNION ALL的区别? 如果使用UNION ALL,不会合并重复的记录行 效率 UNION 高于 UNION ALL SQL优化 如何定位及优化SQL语句的性能问题?...解决办法:使用limit解决 多表关联返回全部列。解决办法:指定列名 总是返回全部列。解决办法:避免使用SELECT * 重复查询相同的数据。...解决办法: 使用explain进行分析,如果发现查询需要扫描大量的数据,但只返回少数的行,可以通过如下技巧去优化: 使用索引覆盖扫描,把所有的列都放到索引中,这样存储引擎不需要回表获取对应行就可以返回结果...增加中间表 对于需要经常联合查询的表,可以建立中间表以提高查询效率。 通过建立中间表,将需要通过联合查询的数据插入到中间表中,然后将原来的联合查询改为对中间表的查询。
B: EXCEPT 运算符 EXCEPT 运算符通过包括所有在 TABLE1 中但不在 TABLE2 中的行并消除所有重复行而派生出一个结果表。...ALL选项表示将所有行合并到结果集合中。不指定该项时,被联合查询结果集合中的重复行将只保留一 行。 联合查询时,查询结果的列标题为第一个查询语句的列标题。...3、自然连接:在连接条件中使用等于(=)运算符比较被连接列的列值,但它使用选择列表指出查询 结果集合中所包括的列,并删除连接表中的重复列。...ALL选项表示将所有行合并到结果集合中。不指定该项时,被联合查询结果集合中的重复行将只保留一 行。 联合查询时,查询结果的列标题为第一个查询语句的列标题。...使用SQL修改已经建立的表是很困难的。例如,如果你向一个表中添加了一个字段,没有容易的办法来去除它。另外,如果你不小心把一个字段的数据类型给错了,你将没有办法改变它。
Archive:只支持Insert和Select,批量插入很快,通过全表扫描查询数据 SCV:将SCV文件视为表 Memory:数据存储在内存中 还有很多,不再一一列举。...’ and age = 22 一个使用Hash值创建索引的技巧 如果表中有一列存储较长字符串,假设名字为URL,在此列上创建的索引比较大,有个办法可以缓解:创建URL字符串的数字哈希值的索引。...覆盖索引 简单地说,某些查询只需要查询索引列,那么就不用再根据索引B树节点记录的主键ID进行二次查询了。 重复索引和冗余索引 如果重复在某列创建索引,并不会带来任何好处,只有坏处,应该尽量避免。...不使用的索引 不使用的索引徒然增加insert、update和delete的效率,应该及时删除 索引使用总结 索引的三星原则: 索引将查询相关的记录按顺序放在一起则得一星 索引中的数据顺序和查询结果的排序一致则得一星...索引覆盖扫描 增加汇总表 增加内存缓存系统记录数据条数 关联查询的优化 MySQL优化器关联表查询是这样进行的,比如有两个表A和B通过c列关联,MySQL会遍历A表,然后根据遍历到的c列的值去B表中查找数据
虽然可以使用sql语句在InnoDB显示声明Hash索引,但是其实是不生效的 对name字段建立Hash索引,但是通过show index from 表名就会发现实际还是B+树 在存储引擎中,Memory...除了Hash和B+树之外,还有全文索引等其它索引,这里就不讨论了 聚簇索引 数据页数据存储 我们知道,我们插入表的数据其实最终都要持久化到磁盘上,InnoDB为了方便管理这些数据,提出了页的概念,它会将数据划分到多个页中...id排序,非聚簇索引的数据是按照索引列排序 聚簇索引的非叶子节点存的是主键id和页号,非聚簇索引的非叶子节点存的是索引列、主键id、页号 由于后面这个索引树会经常用到,为了你方便比较,所以我根据上面索引树的数据在表中插入了对应的数据...id=4到聚簇索引中查找数据的过程就被称为回表 由于是非唯一索引,所以赵六这个值可能会有重复,所以接着就会在索引页111顺着链表继续遍历,如果name还是赵六,那么还会根据id值进行回表,如此重复,一直这么遍历...取并集(union) 取并集就是将前面例子中的and换成or select * from `user` where name = '赵六' or age = 22; 前面执行的情况都一样,根据条件到各自的索引上去查
1、单条循环插入 2、修改SQL语句批量插入 3、分批量多次循环插入 追问1:如果插入速度依旧很慢,还有没有其他的优化手段? 面试题3:你对建表字段是否该使用not null这个问题怎么看?...上面REPLACE影响了多行记录,这是因为在表中有超过一个的唯一索引。在这种情况下,REPLACE将考虑每一个唯一索引,并对每一个索引对应的重复记录都删除,然后插入这条新记录。...翻译: NULL列在行中需要额外的空间以记录其值是否为NULL。 对于MyISAM表,每个NULL列都多花一位,四舍五入到最接近的字节。...,分别是 NULL、2、空List;显然,这三条 SQL 语句的执行结果和我们的期望不同: 虽然表中的 age 都是 NULL,但 SUM(age) 的结果应该是 0 才对; 虽然第三行记录的 name...,这里有些同学可能会问有没有性能上的提升,算不算SQL优化,其实把NULL列改为NOT NULL带来的性能提升可以忽略,除非确定它带来了问题,否则不需要把它当成优先的优化措施。
前言 本文将结合实例demo,阐述30条有关于优化SQL的建议,多数是实际开发中总结出来的,希望对大家有帮助。 1、查询SQL尽量不要使用select *,而是select具体字段。...left join 在两张表进行连接查询时,会返回左表所有的行,即使在右表中没有匹配的记录。...from B where A.deptId = B.deptId); 因为exists查询的理解就是,先执行主查询,获得数据后,再放到子查询中做条件验证,根据验证结果(true或者false),来决定主查询的数据结果是否得意保留...union,不管检索结果有没有重复,都会尝试进行合并,然后在输出最终结果前进行排序。...因为SQL优化器是根据表中数据量来进行查询优化的,如果索引列有大量重复数据,Mysql查询优化器推算发现不走索引的成本更低,很可能就放弃索引了。 25、尽量避免向客户端返回过多数据量。
如果某列字符串大量重复且内容有限,可使用枚举代替,MySQL处理枚举时维护了一个“数字-字符串”表,使用枚举可以减少很多存储空间。...’ and age = 22 一个使用Hash值创建索引的技巧 如果表中有一列存储较长字符串,假设名字为URL,在此列上创建的索引比较大,有个办法可以缓解:创建URL字符串的数字哈希值的索引。...覆盖索引 简单地说,某些查询只需要查询索引列,那么就不用再根据索引B树节点记录的主键ID进行二次查询了。 重复索引和冗余索引 如果重复在某列创建索引,并不会带来任何好处,只有坏处,应该尽量避免。...不使用的索引 不使用的索引徒然增加insert、update和delete的效率,应该及时删除 索引使用总结 索引的三星原则: 索引将查询相关的记录按顺序放在一起则得一星 索引中的数据顺序和查询结果的排序一致则得一星...索引覆盖扫描 增加汇总表 增加内存缓存系统记录数据条数 关联查询的优化 MySQL优化器关联表查询是这样进行的,比如有两个表A和B通过c列关联,MySQL会遍历A表,然后根据遍历到的c列的值去B表中查找数据
连接层就是提供连接服务的,比如 JDBC 驱动; 服务层包括连接池、SQL 接口、解析器、优化器等; 引擎层就是真正负责数据读写的,innoDB 就属于引擎层; 存储层就负责将数据存储到文件系统。...常见的有 InnoDB 和 MyISAM。 InnoDB 支持行锁,表锁,事务,使用聚簇索引,写数据的效率比 MyISAM 更高。它有四个特性,插入缓冲,双写,自适应哈希,预读。...插入缓冲就是插入数据之前会检查缓冲中有没有,没有的话会先插入到缓冲中,有的话就会以一定的频率将缓冲和索引页合并;双写就是数据写到磁盘前会先写到缓存中,保证数据的可靠性;自适应哈希就是存储引擎会监控索引页的查询...MyISAM 只支持表锁,不支持事务,使用非聚簇索引,查询的效率比 InnoDB 更高。 ---- 3. SQL 分为哪几类?...它的原理是在 undo log 中记录相反的操作,如果事务回滚了,就根据 undo log 执行相反的操作; 一致性(C):一个事务对数据修改的中间状态对别的事务不可见。
就是把多个结果集集中在一起,UNION前的结果为基准,需要注意的是联合查询的列数要相等,相同的记录行会合并 如果使用UNION ALL,不会合并重复的记录行 效率 UNION 高于 UNION ALL...A WHERE id IN (SELECT id FROM B) 解题方法 根据考题要搞清楚表的结果和多表之间的关系,根据想要的结果思考使用那种关联方式,通常把要查询的列先写出来,然后分析这些列都属于哪些表...如果使用UNION ALL,不会合并重复的记录行 效率 UNION 高于 UNION ALL 问题23:一个6亿的表a,一个3亿的表b,通过外键tid关联,你如何最快的查询出满足条件的第50000到第50200...解决办法:使用limit解决 多表关联返回全部列。解决办法:指定列名 总是返回全部列。解决办法:避免使用SELECT * 重复查询相同的数据。...解决办法: 使用explain进行分析,如果发现查询需要扫描大量的数据,但只返回少数的行,可以通过如下技巧去优化: 使用索引覆盖扫描,把所有的列都放到索引中,这样存储引擎不需要回表获取对应行就可以返回结果
领取专属 10元无门槛券
手把手带您无忧上云