日志相关问题: 1. 在两阶段提交的不同瞬间, mysql如果发生异常重启, 怎么保证数据的完整性? 两阶段示意图 image.png 2....在时刻B中, binlog写完之后, mysql崩溃, 这时候由于binlog已经写入, 之后就会被从库(或者用这个binlog恢复出来的库)使用,所以主库再恢复的时候, 也要提交这个事务, 这样保证了主库和备份库的数据一致性...两阶段提交是典型的分布式系统的问题, 并不是mysql独有的 举个栗子....问题大意是, 只保留binlog, 将提交流程改成: "数据更新到内存" --> "写binlog" --> "提交事务" 是不是也具有了crash-safe能力....但是，InnoDB 引擎使用的是 WAL 技术，执行事务的时候，写完内存和日志，事务就算完成了。如果之后崩溃，要依赖于日志来恢复数据页。
索引 import pandas as pd ser=pd.Series(range(0,10,2)) print(ser) 0 0 1 2 2 4 3 6 4 8 dtype...: int64 通过索引值或索引标签获取数据 通过index查看索引值 print(ser.index) RangeIndex(start=0, stop=5, step=1) 自定义索引值 ser.index...=['a','b','c','d','f'] print(ser) a 0 b 2 c 4 d 6 f 8 dtype: int64 通过索引值和索引标签获取数据 print...6 c 7 b 8 a 9 dtype: int64 a 10 b 10 c 10 d 10 f 10 g 10 dtype: int64 利用pandas...查询数据 import pandas as pd stu_dic={ 'name':['a','b','c','d','e','f','g','h'], 'age':[18,15,45,56,89,78,45,12
或者在范围运算（>,）等运算的后面 where中索引列有运算 除了上面的几个明显的问题外，还有索引的选择问题。...MySQL 在执行一段 sql 的时候，会先决定使用哪一个索引，如果 选了一个性能比较差的索引，即使走了索引，也会带来性能问题。...possible_keys: birthday -- 指出MySQL能使用哪个索引在该表中找到行。如果是空的，没有相关的索引。...Extra: Using where; Using index -- 执行状态说明，这里可以看到的坏的例子是Using temporary和Using 索引选择的决定的因素 如果在一个 sql 中，有使用了两个索引...，有可能走到联合索引和 userStatus 单独的索引 在执行筛选的时候，如果这个时候，MySQL 发现 userSex 走索引的成本小于全表扫描，则可能会走索引下推 使用 in 的时候，userSex
pandas 排序 import pandas as pd import numpy as np unsorted_df=pd.DataFrame(np.random.randn(10,2),index
1.什么是索引 在MySQL中，索引（index）也叫做“键（key）”，它是存储引擎用于快速找到记录的一种数据结构。...2.索引的分类 在MySQL中，通常我们所指的索引类型，有以下几种： 主键索引（PRIMARY KEY） 也简称主键。它可以提高查询效率，并提供唯一性约束。一张表中只能有一个主键。...ADD PRIMARY KEY (`name`) USING BTREE; 全文索引（FULL TEXT） 旧版的MySQL的全文索引只能用在MyISAM表格的char、varchar和text的字段上...不过新版的MySQL5.6.24上InnoDB引擎也加入了全文索引 添加全文索引 ADD FULLTEXT INDEX `idx_full`(`en_name`); 跟普通索引稍有不同 使用全文索引的格式...二是secondary index，其leaf node和普通的BTREE差不多，只是还存放了指向主键的信息. 而在MyISAM里，主键和其他的并没有太大区别。
1、选择索引的数据类型 MySQL支持很多数据类型，选择合适的数据类型存储数据对性能有很大的影响。...在MySQL中，应该用内置的日期和时间数据类型，而不是用字符串来存储时间；以及用整型数据类型存储IP地址。 (3)尽量避免NULL：应该指定列为NOT NULL，除非你想存储NULL。...在MySQL中，含有空值的列很难进行查询优化，因为它们使得索引、索引的统计信息以及比较运算更加复杂。你应该用0、一个特殊的值或者一个空串代替空值。 1.1、选择标识符 选择合适的标识符是非常重要的。...选择时不仅应该考虑存储类型，而且应该考虑MySQL是怎样进行运算和比较的。一旦选定数据类型，应该保证所有相关的表都使用相同的数据类型。...如果对多列进行索引(组合索引)，列的顺序非常重要，MySQL仅能对索引最左边的前缀进行有效的查找。
varbinary：保存二进制字符串，他们保存的是字节而不是字符，填充是\0而不是空格 blob 和 text： 不能索引这些类型的完整长度，也不能为排序使用索引 排序时只按照max_sort_length..._2 = '123' 唯一索引的前缀匹配： NULL：MySQL在优化过程中分解语句，执行时甚至不用访问表或索引, 比如id=-1, min(id) max(id)????...Scan， MySQL将遍历全表以找到匹配的行 possible_keys 指出MySQL能使用哪个索引在表中找到行，查询涉及到的字段上若存在索引，则该索引将被列出，但不一定被查询使用 key 显示MySQL...在查询中实际使用的索引，若没有使用索引，显示为NULL key_len 表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度, 此值可以告诉你在联合索引中mysql会真正使用了哪些索引 key_len...Index） 利用索引返回select列表中的字段，而不必根据索引再次读取数据文件 Using where Using temporary 表示MySQL需要使用临时表来存储结果集，常见于排序和分组查询
本文所用测试软件环境如下:SQL05 DEMO:创建一个人员表,包含人员ID,姓名.在人员ID上创建一个聚集索引,在first_name和last_name上创建一个联合 索引. create table...,如果知道first_name和last_name则会非常容易找到....第一种情况:–条件和输出列和索引列顺序相同 select last_name,first_name from person where last_name=’1′ and first_name=’1′...[first_name]=[@1]) ORDERED FORWARD) 结果:利用person_name联合索引查找 第四种情况:–条件列在first_name和last_name中间加入另外一个条件...[las 结果:不能利用person_name联合索引查找 第五种情况:–在输出列中分开first_name和last_name SELECT first_name,id,last_name from
连接数据库 先连接 mysql 数据库，进入到 MyDB_one 数据库中。 在 MyDB_one 中有一张表 Phone_table 。 ? 2....在上面的这张表中，现在还没有任何数据，所以也没有索引，查询结果为空 Empty 。 3. 批量插入数据 为了演示创建索引的方法和索引的效果，需要先在数据表中添加数据。...conn = connect( host="localhost", port=3306, user="admin", password="Mysql...删除索引后，数据表的索引为空。 三、验证索引的效率 有索引和没有索引的表查询效率差距是非常大的。在同一张表中，保持数据不变，查同一条数据，来对比有无索引的查询时间，就可以对比出效率的差异。 1....开启 MySQL 运行时间监测 使用 set profiling=1; 开启 MySQL 运行时间检测，通过运行时间来对比有无索引的效率。
如果索引无法过滤掉无效的行，那么在InnoDB检索到数据并返回给服务器层以后，MySQL服务器才能应用where子句。这时已经无法避免锁定行了，InnoDB已经锁住了这些行，到适当的时候才释放。...在MySQL5.1及以后版本中，InnoDB可以在服务器端过滤掉行后就释放锁，但是在早起版本中，InnoDB只有在事务提交后才能释放锁。...InnoDB会锁住第一行，这是因为Mysql为该查询选择的执行计划是索引范围扫描： explain select id from people where id1 for update...就像这个例子显示的，即使使用了索引，InnoDB也可能锁住一些不需要的数据。如果不能使用索引查找和锁定行的话问题可能会更糟糕，MySQL会做全表扫描并锁住所有的行，而不管是不是需要。...关于InnoDB、索引和锁有一些很少有人知道的细节：InnoDB在二级索引上使用共享锁。
InnoDB; insert into t(id, name, k) values (1, 'Java', 100), (2, 'Python', 200), (3, 'Go', 300), (5, 'MySQL...', 500), (6, 'Spark', 600) 我们使用上节的SQL进行分析普通索引和唯一索引的区别。...唯一索引和普通索引的插入 假设我们在表中需要插入一条新的数据（4, 'Flink', 400），InnoDB对于唯一索引和普通索引的处理有些区别： 假设记录要更新的目标页在内存中，处理流程如下： 如果是唯一索引...，找到300和500之间的位置，判断没有冲突，插入该值，语句执行结束 如果是普通索引，找到300和500之间的位置，插入该值，语句执行结束 假设记录要更新的目标页不在内存中，处理流程如下： 如果是唯一索引...唯一索引和普通索引 唯一索引和普通索引在查询性能上基本没有差别，但在更新上普通索引会快于唯一索引。所以在可以选择普通索引的前提下尽可能选择普通索引。
首先要明确一个概念，在聚集索引的世界里索引就是数据，在最后的叶子索引键保存着对应的数据行。...* from TestNonclusteredIndex where ID = 3; SQL知道ID是聚集索引，因此就去聚集索引里去查找（查找和扫描是有区别的），当找到对应的键值的时候里面保存的是 "...如果执行这条查询语句： select * from TestNonclusteredIndex where col1 = 6 SQL知道col1上有非聚集索引，去索引里查找，找到的是6的非聚集索引键值和这条记录的聚集索引键值...，因为没有数据（3 6），SQL就用这个聚集索引查找，就上面的例子一样就找到（3 6）这条数据； 其次，你要知道聚集索引是顺序的，到最后的数据页的时候，你知道第一条记录聚集索引是1难道聚集索引为2的记录不是它下一条...，那么聚集索引为N的记录不是1之后的N-1条？
普通索引和唯一索引，应该怎么选择？...找到 k=5 的记录的时候，普通索引相比唯一索引来说，只是多做的一次“查找和判断下一条记录”的操作，只需要一次指针寻找和一次计算 若k=5 这个记录刚好是这个数据也的最后一条记录, 那么需要取下一个记录...索引选择和实践 普通索引和唯一索引在查询能力上基本是没有差别的. 主要考虑的更新性能的影响. 所以尽量选择普通索引....创建字符串索引的两种方法: mysql> alter table SUser add index index1(email); mysql> alter table SUser add index index2...计算列区分度. mysql> select count(distinct email) as L from SUser; 前缀索引对覆盖索引的影响.
问题概述 写代码的时候,有一段sql，表示该sql存在隐式转换，不走索引。 经过测试排查后，发现是类型varchar的字段， 我使用条件传入了数值型的值。...问题重现 首先我们先创建一张用户表test_user，其中USER_ID为了效果我们设置为varchar类型且加上唯一索引。...的文章MySQL使用UNION连接两个查询排序失效相同的数据，但是要注意表结构不同。）...问题引申 那么问题来了，如果字段是整型的且加上索引，以字符串查询时会不会也不走索引呢？实践出真知，让我们再接着往下测试一下。...结论 当我们使用的字段是数值类型时，加引号或者不加引号（sql中单引号和双引号实现相同效果）都不影响索引的使用 当我们的字段是字符串类型时，不加引号的查询无法使用索引，加引号的查询才可正常使用索引 参考资料
索引和切片操作是最基本最常用的数据处理操作，Pandas中的索引和切片操作基于Python的语言特性，支持类似于numpy中的操作，也可以使用行标签、列标签以及行标签与列标签的组合来进行索引和切片操作...本文使用的数据来源于网易财经，具体下载方式可以参考：Pandas知识点-DataFrame数据结构介绍 前面介绍DataFrame和Series的文章中，代码是在Pycharm中编写的，本文和后面介绍Pandas...Pandas中获取指定位置数据的索引方式默认是“先列后行”，这与numpy中ndarray的索引方式“先行后列”是相反的。...loc中传入需要切片的行索引和列索引的索引名，iloc中传入需要切片的行索引和列索引的数值索引范围。...以上就是Pandas中的索引和切片基本操作介绍，如果需要获取数据和代码，可以点击关注公众号“Python碎片”，然后在后台回复“pandas03”关键字获取本文代码和数据。
查询优化： 索引覆盖扫描——当索引中的列包含所有查询中要使用的列的时候，就会用到覆盖索引，效率比较高。 因为尽量使select后面的字段是where中的索引字段。
MySQL允许在相同列上创建多个索引，无论是有意的还是无意的。MySQL需要单独维护重复的索引，并且优化器在优化查询的时候也需要逐个进行考虑，这会影响性能。...事实上，MySQL的唯一限制和主键限制都是通过索引实现的。因此，上面的写法实际上在相同的列上创建了三个重复的索引。通常并没有理由这样做，除非是在同一列上创建不同类型的索引来满足不同的查询需求。...冗余索引 概念 冗余索引和重复索引有一些不同。如果创建了索引（A,B），再创建索引（A）就是冗余索引，因为这只是前一个索引的前缀索引。...因此索引（A,B）也可以当做索引（A）来使用（这种冗余只是对B树索引来说的）。但是如果再创建索引（B,A），则不是冗余索引，索引（B）也不是，因为B不是索引（A,B）的最左前缀列。...另外，其他不同类型的索引（例如哈希索引）也不会是B树索引的冗余索引。 场景 冗余索引通常发生在为表添加新索引的时候。例如，有人可能会增加一个新的索引（A,B）而不是扩展已有的索引（A）。
1.所有的索引字段，如果没有设置not null，则需要加一个字节。 2.定长字段,int占4个字节、date占3个字节、char(n)占n个字符。...utf8mb4是一个字符占4个字节 5.使用explain语句查询到的key_len字段,可以适用于上面的计算规则,可以看到查询是否使用到了联合索引 6.mysql优化器会对条件中的 and的前后顺序根据多列索引顺序自动纠正过来...通过索引的长度查看下面sql语句是否使用到了索引 CREATE TABLE `index_test` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT
需要了解 MySQL 的架构图分为 Server 和存储引擎层。 索引合并(index merge)：对多个索引分别进行条件扫描，然后将它们各自的结果进行合并(intersect/union)。...一般用 or 会用到，如果是 AND 条件，考虑建立复合索引。EXPLAIN 显示的索引类型会显示 index_merge，EXTRA 会显示具体的合并算法和用到的索引。...字段类型和编码 MySQL 返回字符串长度 CHARACTER_LENGTH(同CHAR_LENGTH)方法返回的是字符数，LENGTH 函数返回的是字节数，一个汉字三个字节。...MySQL 排序规则 一般使用 _bin 和 _genera_ci： utf8_genera_ci 不区分大小写，ci 为 case insensitive 的缩写，即大小写不敏感。...在进程列表页面可以右键杀死进程，如下所示： 一些数据库性能的思考 在对公司慢查询日志做优化的时候，很多时候可能是忘了建索引，像这种问题很容易解决，加个索引就行了。
MySQL只有InnoDB和BDB数据引擎支持事务处理。 （2）事务的四个属性——ACID 原子性（Atomicity）：事务中的指令是一个完整的操作，不可分割。...此外，索引还可以加速表和表之间的连接，实现表与表之间的参照完整性；使用分组和排序子句进行数据检索时，可以显著减少分组和排序的时间。...按索引的逻辑结构来划分，索引又可以分为：主键索引（PRIMARY KEY）、唯一索引（UNIQUE）、常规索引（INDEX）和全文索引（FULLTEXT）。...（3）推荐阅读 索引深入理解 理解MySQL——索引与优化 - YY哥 - 博客园 索引相关帮助 MySQL 索引 | 菜鸟教程 2.2 索引使用语法： （1）主键索引（primary...由于精确性问题，全文索引在平时的业务中用到的不多，使用会受到以下限制： （1）MySQL 5.6 以前的版本，只有 MyISAM 存储引擎支持全文索引； （2）MySQL 5.6 及以后的版本，MyISAM
领取专属 10元无门槛券
手把手带您无忧上云
