标签：VBA 自Excel 2010发布以来，已经具备删除工作表中重复行的功能，如下图1所示，即功能区“数据”选项卡“数据工具——删除重复值”。...图1 使用VBA，可以自动执行这样的操作，删除工作表所有数据列中的重复行，或者指定列的重复行。 下面的Excel VBA代码，用于删除特定工作表所有列中的所有重复行。...，假设标题位于第一行。...如果只想删除指定列（例如第1、2、3列）中的重复项，那么可以使用下面的代码： Sub DeDupeColSpecific() Cells.RemoveDuplicates Columns:=Array...(1, 2, 3), Header:=xlYes End Sub 可以修改代码中代表列的数字，以删除你想要的列中的重复行。
事务B在这期间插入了1条数据，按道理数据库其实有3条数据了，但由于可重复读的隔离级别，事务A依然还是只能读到2条数据。...那如果不可避免要使用count()，有没有办法让它快一点？ 各种count()方法的原理 count()的括号里，可以放各种奇奇怪怪的东西，想必大家应该看过，比如放个星号*，放个1，放个索引列啥的。...知道真相的我眼泪掉下来。 那有没有其他更好的办法？...explain里的rows 有些语言的orm里可能没有专门的explain语法，但是肯定有执行raw sql的功能，你可以把explain语句当做raw sql传入，从返回的结果里将rows那一列读出来使用...实时性要求较高的场景 如果你对这个cnt计算结果的实时性要求很高，那你需要将更新cnt的sql加入到对应变更行数的事务中。 比如我们有两个事务A和B，分别是增加未发送短信和减少未发送短信。
包含班级名和班级所在的教室 如果班级没有名字，你不知道你在哪个班级，如果教室名字可以为空，就不知道在哪上课 所以在设计数据库表的时候，一定要在表中进行限制，满足上面条件的数据就不能插入到表中，这就是...0来填充，对于满足的不做改变 int(5)中括号里的数字是代表什么意思呢，其实没有zerofill这个属性，括号内的数字是毫无意义 示例： 注意：这只是最后显示的结果，数据库内部存储的还是1,00001...索引提供指向存储在表的指定列中的数据值的指针，然后根据您指定的排序顺序对这些指针排序 数据库使用索引以找到特定值，然后顺指针找到包含该值的行。...这样可以使对应于表的SQL语句执行得更快，可快速访问数据库表中的特定信息 7、唯一键 一张表中有往往有很多字段需要唯一性，数据不能重复，但是一张表中只能有一个主键：唯一键就可以解决表中有多个字段需要唯一性约束的问题...，不创建外键约束，就正常建立学生表，以及班级表，该有的字段我们都有，在实际使用的时候，可能会出现有没有可能插入的学生信息中有具体的班级，但是该班级却没有在班级表中，这很明显是有问题的 因为此时两张表在业务上是有相关性的
4.replace 我们经常会有替换字符串中部分内容的需求，比如：将字符串中的字符A替换成B。 这种情况就能使用replace函数。...，非常轻松插入到brand表中。...但如果brand表中已经存在name为苏三的数据了，则该sql语句也能正常执行，并不会报错。因为它会忽略异常，返回的执行结果影响行数为0，它不会重复插入数据。...8.select ... for update MYSQL数据库自带了悲观锁，它是一种排它锁，根据锁的粒度从大到小分为：表锁、间隙锁和行锁。...例如： create table order_2022121820 select * from `order`; 执行完之后，就会将order_2022121820表创建好，并且将order表中的数据自动插入到新创建的
JOIN – 多表关联 JOIN 用于根据两个或多个表中的列之间的关系，从这些表中查询数据。 有时为了得到完整的结果，我们需要从两个或更多的表中获取结果。我们就需要执行 join。...数据库中的表可通过键将彼此联系起来。主键（Primary Key）是一个列，在这个列中的每一行的值都是唯一的。在表中，每个主键的值都是唯一的。...这样做的目的是在不重复每个表中的所有数据的情况下，把表间的数据交叉捆绑在一起。 如图，“Id_P” 列是 Persons 表中的的主键。这意味着没有两行能够拥有相同的 Id_P。...如果查询结果需要显示重复的值，请使用 UNION ALL。...VIEW – 视图 在 SQL 中，视图是基于 SQL 语句的结果集的可视化的表。 视图包含行和列，就像一个真实的表。视图中的字段就是来自一个或多个数据库中的真实的表中的字段。
ALL选项表示将所有行合并到结果集合中。不指定该项时，被联合查询结果集合中的重复行将只保留一行。 联合查询时，查询结果的列标题为第一个查询语句的列标题。因此，要定义列标题必须在第一个查询语 句中定义。...内连接分三种： 1、等值连接：在连接条件中使用等于号(=)运算符比较被连接列的列值，其查询结果中列出被连接表中的所有列，包括其中的重复列。...3、自然连接：在连接条件中使用等于(=)运算符比较被连接列的列值，但它使用选择列表指出查询结果集合中所包括的列，并删除连接表中的重复列。...使用SQL修改已经建立的表是很困难的。例如，如果你向一个表中添加了一个字段，没有容易的办法来去除它。另外，如果你不小心把一个字段的数据类型给错了，你将没有办法改变它。...使用SQL修改已经建立的表是很困难的。例如，如果你向一个表中添加了一个字段，没有容易的办法来去除它。另外，如果你不小心把一个字段的数据类型给错了，你将没有办法改变它。
INSERT – 插入数据 INSERT INTO 语句用于向表格中插入新的行。...有时为了得到完整的结果，我们需要从两个或更多的表中获取结果。我们就需要执行 join。 数据库中的表可通过键将彼此联系起来。主键（Primary Key）是一个列，在这个列中的每一行的值都是唯一的。...语法： select 列名 from 表A INNER|LEFT|RIGHT|FULL JOIN 表B ON 表A主键列 = 表B外键列; 不同的 SQL JOIN： 下面列出了您可以使用的 JOIN...如果查询结果需要显示重复的值，请使用 UNION ALL。...VIEW – 视图 在 SQL 中，视图是基于 SQL 语句的结果集的可视化的表。 视图包含行和列，就像一个真实的表。视图中的字段就是来自一个或多个数据库中的真实的表中的字段。
因此在建立联合索引的时候应该注意索引列的顺序，一般情况下，将查询需求频繁或者字段选择性高的列放在前面。此外可以根据特例的查询或者表结构进行单独的调整。 事务 什么是数据库事务？...就是把多个结果集集中在一起，UNION前的结果为基准，需要注意的是联合查询的列数要相等，相同的记录行会合并 如果使用UNION ALL，不会合并重复的记录行 效率 UNION ALL 高于 UNION...key，将数据定位到限定的表上去查，而不是扫描全部的表； 超大分页怎么处理？...解决办法：使用limit解决 多表关联返回全部列。解决办法：指定列名 总是返回全部列。解决办法：避免使用SELECT * 重复查询相同的数据。...解决办法： 使用explain进行分析，如果发现查询需要扫描大量的数据，但只返回少数的行，可以通过如下技巧去优化： 使用索引覆盖扫描，把所有的列都放到索引中，这样存储引擎不需要回表获取对应行就可以返回结果
1.2 插入查询结果（删除表中的重复记录） 1. insert除了直接插入数据外，还支持插入select查询到的结果，如果要删除表中重复的记录，我们想要让这个操作是原子的。...那我们就可以新建一个no_duplicate_table，然后查询duplicate_table中不重复的数据，也就是在select查询时，添加关键字distinct，将查询到的结果插入到表no_duplicate_table...，因为索引只能提升部分数据的查询，查询的数据一旦涉及到索引中没有包含的列字段，则此时就无法使用B+索引结构来优化查询的速度，数据库系统只能遍历整个表的所有行来进行查找，这会大大降低查询速度。...count函数除外，count括号内的字段可以是数字，列字段名，通配符等等，因为count只负责统计表中记录(表中的一行数据成为记录)的个数，所以count比较特殊，其他的四个聚合函数括号内的字段只能是值为数字的列字段名...合并查询就是将多个select的查询结果合并到一起，union在合并时，会自动去掉重复的行（两个所有列字段完全重复的行），union all不会去掉重复的行。
就是把多个结果集集中在一起，UNION前的结果为基准，需要注意的是联合查询的列数要相等，相同的记录行会合并 如果使用UNION ALL，不会合并重复的记录行 效率 UNION 高于 UNION...UNION与UNION ALL的区别？ 如果使用UNION ALL，不会合并重复的记录行 效率 UNION 高于 UNION ALL SQL优化 如何定位及优化SQL语句的性能问题？...解决办法：使用limit解决 多表关联返回全部列。解决办法：指定列名 总是返回全部列。解决办法：避免使用SELECT * 重复查询相同的数据。...解决办法： 使用explain进行分析，如果发现查询需要扫描大量的数据，但只返回少数的行，可以通过如下技巧去优化： 使用索引覆盖扫描，把所有的列都放到索引中，这样存储引擎不需要回表获取对应行就可以返回结果...增加中间表 对于需要经常联合查询的表，可以建立中间表以提高查询效率。 通过建立中间表，将需要通过联合查询的数据插入到中间表中，然后将原来的联合查询改为对中间表的查询。
B： EXCEPT 运算符 EXCEPT 运算符通过包括所有在 TABLE1 中但不在 TABLE2 中的行并消除所有重复行而派生出一个结果表。...ALL选项表示将所有行合并到结果集合中。不指定该项时，被联合查询结果集合中的重复行将只保留一 行。 联合查询时，查询结果的列标题为第一个查询语句的列标题。...3、自然连接：在连接条件中使用等于(=)运算符比较被连接列的列值，但它使用选择列表指出查询 结果集合中所包括的列，并删除连接表中的重复列。...ALL选项表示将所有行合并到结果集合中。不指定该项时，被联合查询结果集合中的重复行将只保留一 行。 联合查询时，查询结果的列标题为第一个查询语句的列标题。...使用SQL修改已经建立的表是很困难的。例如，如果你向一个表中添加了一个字段，没有容易的办法来去除它。另外，如果你不小心把一个字段的数据类型给错了，你将没有办法改变它。
Archive：只支持Insert和Select，批量插入很快，通过全表扫描查询数据 SCV：将SCV文件视为表 Memory：数据存储在内存中 还有很多，不再一一列举。...’ and age = 22 一个使用Hash值创建索引的技巧 如果表中有一列存储较长字符串，假设名字为URL，在此列上创建的索引比较大，有个办法可以缓解：创建URL字符串的数字哈希值的索引。...覆盖索引 简单地说，某些查询只需要查询索引列，那么就不用再根据索引B树节点记录的主键ID进行二次查询了。 重复索引和冗余索引 如果重复在某列创建索引，并不会带来任何好处，只有坏处，应该尽量避免。...不使用的索引 不使用的索引徒然增加insert、update和delete的效率，应该及时删除 索引使用总结 索引的三星原则： 索引将查询相关的记录按顺序放在一起则得一星 索引中的数据顺序和查询结果的排序一致则得一星...索引覆盖扫描 增加汇总表 增加内存缓存系统记录数据条数 关联查询的优化 MySQL优化器关联表查询是这样进行的，比如有两个表A和B通过c列关联，MySQL会遍历A表，然后根据遍历到的c列的值去B表中查找数据
虽然可以使用sql语句在InnoDB显示声明Hash索引，但是其实是不生效的 对name字段建立Hash索引，但是通过show index from 表名就会发现实际还是B+树 在存储引擎中，Memory...除了Hash和B+树之外，还有全文索引等其它索引，这里就不讨论了 聚簇索引 数据页数据存储 我们知道，我们插入表的数据其实最终都要持久化到磁盘上，InnoDB为了方便管理这些数据，提出了页的概念，它会将数据划分到多个页中...id排序，非聚簇索引的数据是按照索引列排序 聚簇索引的非叶子节点存的是主键id和页号，非聚簇索引的非叶子节点存的是索引列、主键id、页号 由于后面这个索引树会经常用到，为了你方便比较，所以我根据上面索引树的数据在表中插入了对应的数据...id=4到聚簇索引中查找数据的过程就被称为回表 由于是非唯一索引，所以赵六这个值可能会有重复，所以接着就会在索引页111顺着链表继续遍历，如果name还是赵六，那么还会根据id值进行回表，如此重复，一直这么遍历...取并集（union） 取并集就是将前面例子中的and换成or select * from `user` where name = '赵六' or age = 22; 前面执行的情况都一样，根据条件到各自的索引上去查
1、单条循环插入 2、修改SQL语句批量插入 3、分批量多次循环插入 追问1：如果插入速度依旧很慢，还有没有其他的优化手段？ 面试题3：你对建表字段是否该使用not null这个问题怎么看?...上面REPLACE影响了多行记录，这是因为在表中有超过一个的唯一索引。在这种情况下，REPLACE将考虑每一个唯一索引，并对每一个索引对应的重复记录都删除，然后插入这条新记录。...翻译： NULL列在行中需要额外的空间以记录其值是否为NULL。 对于MyISAM表，每个NULL列都多花一位，四舍五入到最接近的字节。...，分别是 NULL、2、空List；显然，这三条 SQL 语句的执行结果和我们的期望不同： 虽然表中的 age 都是 NULL，但 SUM(age) 的结果应该是 0 才对； 虽然第三行记录的 name...，这里有些同学可能会问有没有性能上的提升，算不算SQL优化，其实把NULL列改为NOT NULL带来的性能提升可以忽略，除非确定它带来了问题，否则不需要把它当成优先的优化措施。
前言 本文将结合实例demo，阐述30条有关于优化SQL的建议，多数是实际开发中总结出来的，希望对大家有帮助。 1、查询SQL尽量不要使用select *，而是select具体字段。...left join 在两张表进行连接查询时，会返回左表所有的行，即使在右表中没有匹配的记录。...from B where A.deptId = B.deptId); 因为exists查询的理解就是，先执行主查询，获得数据后，再放到子查询中做条件验证，根据验证结果（true或者false），来决定主查询的数据结果是否得意保留...union，不管检索结果有没有重复，都会尝试进行合并，然后在输出最终结果前进行排序。...因为SQL优化器是根据表中数据量来进行查询优化的，如果索引列有大量重复数据，Mysql查询优化器推算发现不走索引的成本更低，很可能就放弃索引了。 25、尽量避免向客户端返回过多数据量。
如果某列字符串大量重复且内容有限，可使用枚举代替，MySQL处理枚举时维护了一个“数字-字符串”表，使用枚举可以减少很多存储空间。...’ and age = 22 一个使用Hash值创建索引的技巧 如果表中有一列存储较长字符串，假设名字为URL，在此列上创建的索引比较大，有个办法可以缓解：创建URL字符串的数字哈希值的索引。...覆盖索引 简单地说，某些查询只需要查询索引列，那么就不用再根据索引B树节点记录的主键ID进行二次查询了。 重复索引和冗余索引 如果重复在某列创建索引，并不会带来任何好处，只有坏处，应该尽量避免。...不使用的索引 不使用的索引徒然增加insert、update和delete的效率，应该及时删除 索引使用总结 索引的三星原则： 索引将查询相关的记录按顺序放在一起则得一星 索引中的数据顺序和查询结果的排序一致则得一星...索引覆盖扫描 增加汇总表 增加内存缓存系统记录数据条数 关联查询的优化 MySQL优化器关联表查询是这样进行的，比如有两个表A和B通过c列关联，MySQL会遍历A表，然后根据遍历到的c列的值去B表中查找数据
连接层就是提供连接服务的，比如 JDBC 驱动； 服务层包括连接池、SQL 接口、解析器、优化器等； 引擎层就是真正负责数据读写的，innoDB 就属于引擎层； 存储层就负责将数据存储到文件系统。...常见的有 InnoDB 和 MyISAM。 InnoDB 支持行锁，表锁，事务，使用聚簇索引，写数据的效率比 MyISAM 更高。它有四个特性，插入缓冲，双写，自适应哈希，预读。...插入缓冲就是插入数据之前会检查缓冲中有没有，没有的话会先插入到缓冲中，有的话就会以一定的频率将缓冲和索引页合并；双写就是数据写到磁盘前会先写到缓存中，保证数据的可靠性；自适应哈希就是存储引擎会监控索引页的查询...MyISAM 只支持表锁，不支持事务，使用非聚簇索引，查询的效率比 InnoDB 更高。 ---- 3. SQL 分为哪几类？...它的原理是在 undo log 中记录相反的操作，如果事务回滚了，就根据 undo log 执行相反的操作； 一致性(C)：一个事务对数据修改的中间状态对别的事务不可见。
就是把多个结果集集中在一起，UNION前的结果为基准，需要注意的是联合查询的列数要相等，相同的记录行会合并 如果使用UNION ALL，不会合并重复的记录行 效率 UNION 高于 UNION ALL...A WHERE id IN (SELECT id FROM B) 解题方法 根据考题要搞清楚表的结果和多表之间的关系，根据想要的结果思考使用那种关联方式，通常把要查询的列先写出来，然后分析这些列都属于哪些表...如果使用UNION ALL，不会合并重复的记录行 效率 UNION 高于 UNION ALL 问题23：一个6亿的表a，一个3亿的表b，通过外键tid关联，你如何最快的查询出满足条件的第50000到第50200...解决办法：使用limit解决 多表关联返回全部列。解决办法：指定列名 总是返回全部列。解决办法：避免使用SELECT * 重复查询相同的数据。...解决办法： 使用explain进行分析，如果发现查询需要扫描大量的数据，但只返回少数的行，可以通过如下技巧去优化： 使用索引覆盖扫描，把所有的列都放到索引中，这样存储引擎不需要回表获取对应行就可以返回结果
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
