联合索引是指对表上的多个列进行索引，联合索引也是一棵B+树，不同的是联合索引的键值数量不是1，而是大于等于2. 最左匹配原则 假定上图联合索引的为（a,b）。...对于selete * from table where a=XX and b=XX，显然是可以使用(a,b)联合索引的， 对于selete * from table where a=XX，也是可以使用(...但是，对于b列的查询，selete * from table where b=XX。则不可以使用这棵B+树索引。可以发现叶子节点的b值为1,2,1,4,1,2。...显然不是有序的，因此不能使用(a,b)联合索引。...所以，当然是我们能尽量的利用到索引时的查询顺序效率最高咯，所以mysql查询优化器会最终以这种顺序进行查询执行。 优化：在联合索引中将选择性最高的列放在索引最前面。
很多人对多列索引的理解都不够。一个常见的错误就是，为每个列创建独立的索引，或者按照错误的顺序创建多列索引。...，但实际上更多时候说明了表上的索引建得很糟糕： 到底什么时候创建多列索引？...当出现服务器对多个索引做相交操作时（通常有多个and操作），则意味着需要一个包含所有相关列的多列索引，而不是多个独立的单列索引。...多列索引的顺序 正确的顺序依赖于使用该索引的查询，并同时需要考虑如何更好地满足排序和分组的需要。...在一个多列BTree索引中，索引列的顺序意味着索引首先按照最左列进行排序，其次是第二列，等等。
正确地创建和使用索引是实现高性能查询的基础，本文笔者介绍MySQL中的前缀索引和多列索引。...，因为MySQL无法解析id + 1 = 19298这个方程式进行等价转换，另外使用索引时还需注意字段类型的问题，如果字段类型不一致，同样需要进行索引列的计算，导致索引失效，例如 explain select...对于BLOB和TEXT类型，MySQL必须使用前缀索引，具体使用多少个字符建立前缀，需要对其索引选择性进行计算。...前缀字符个数 区分度 3 0.0546 4 0.3171 5 0.8190 6 0.9808 7 0.9977 8 0.9982 9 0.9996 10 0.9998 多列索引 MySQL支持“索引合并...); Using where 复制代码 如果是在AND操作中，说明有必要建立多列联合索引，如果是OR操作，会耗费大量CPU和内存资源在缓存、排序与合并上。
查看索引 show index from 数据库表名 alter table 数据库add index 索引名称(数据库字段名称) PRIMARY KEY（主键索引） ALTER TABLE...TABLE `table_name` ADD FULLTEXT ( `column` ) 多列索引 ALTER TABLE `table_name` ADD INDEX index_name (...这是最基本的索引，它没有任何限制。...它与前面的"普通索引"类似，不同的就是：索引列的值必须唯一，但允许有空值。如果是组合索引，则列值的组合必须唯一。...它是一种特殊的唯一索引，不允许有空值。
在Elasticsearch中，一般的查询都支持多索引。 只有文档API或者别名等不支持多索引操作，因此本篇就翻译一下多索引相关的内容。...数组风格 最基本的就是这种数组的风格，比如使用逗号进行分隔： $ curl -XPOST localhost:9200/test1,test2/_search?...", "_id" : "2", "_score" : 1.0, "_source":{"name":"test1"} } ] } } _all 也可以在索引部分直接使用...pretty -d '{"query":{"match_all":{}}}' 通配风格 elasticsearch还支持使用统配的风格，如使用*匹配任意字符： $ curl -XPOST localhost...pretty -d '{"query":{"match_all":{}}}' 数学表达式风格 最后可以通过add(+)添加一个索引，使用remove(-)去掉一个索引 $ curl -XPOST localhost
摄影：产品经理 买单：kingname 我们经常遇到各种字典套字典的数据，例如： nest_dict = { 'a': 1, 'b': { 'c': 2,...: 1, 'b_c': 2, 'b_d': 3, 'b_e_f': 4, 'g_h': 5, 'i': 6, 'j_k_l_m': 8 } 你肯定想到了使用递归来解决这个问题...今天，我们使用yield关键字来实现这个需求，在不炫技的情况下，只需要8行代码。在炫技的情况下，只需要3行代码。 要快速地把这个嵌套字典压扁，我们需要从下向上来处理字段。...这个逻辑如果使用yield关键字来实现，就是： def flat(x): for key, value in x.items(): if isinstance(value, dict...通过使用 yield关键字，字典的key会像是在流水线上一样，一层一层从内向外进行组装，从而形成完整的路径。 在下一篇文章中，我们继续使用yield关键字来解决字典与列表混合嵌套的情况。
（）的常见用法 函数 适用场景 备注 df.groupby(‘key1’) 一列聚合 分组键为列名（可以是字符串、数字或其他Python对象） df.groupby([‘key1’,‘key2’]) 多列聚合...1 groupby()核心用法 （1）根据DataFrame本身的某一列或多列内容进行分组聚合，（a）若按某一列聚合，则新DataFrame将根据某一列的内容分为不同的维度进行拆解，同时将同一维度的再进行聚合...，（b）若按某多列聚合，则新DataFrame将是多列之间维度的笛卡尔积，即：新DataFrame具有一个层次化索引（由唯一的键对组成），例如：“key1”列，有a和b两个维度，而“key2”有one和...,‘two’] #自定义列表，默认列表顺序和df的列顺序一致 people.groupby([ len,key_list ]).min() 分组键为具有多重列索引df 的列索引层次 hier_df.groupby...（6）可使用一个/组列名，或者一个/组字符串数组对由DataFrame产生的GroupBy对象，进行索引，从而实现选取部分列进行聚合的目的即： （1）根据key1键对data1列数据聚合 df.groupby
2.1 map() 类似Python内建的map()方法，pandas中的map()方法将函数、字典索引或是一些需要接受单个输入值的特别的对象与对应的单个列的每一个元素建立联系并串行得到结果。...但相较于map()针对单列Series进行处理，一条apply()语句可以对单列或多列进行运算，覆盖非常多的使用场景。...注意这里的year、gender列是以索引的形式存在的，想要把它们还原回数据框，使用reset_index(drop=False)即可： ?...聚合数据框 对数据框进行聚合时因为有多列，所以要使用字典的方式传入聚合方案： data.agg({'year': ['max','min'], 'count': ['mean','std']}) ?...可以注意到虽然我们使用reset_index()将索引列还原回变量，但聚合结果的列名变成红色框中奇怪的样子，而在pandas 0.25.0以及之后的版本中，可以使用pd.NamedAgg()来为聚合后的每一列赋予新的名字
2.1 map() 类似Python内建的map()方法，pandas中的map()方法将函数、字典索引或是一些需要接受单个输入值的特别的对象与对应的单个列的每一个元素建立联系并串行得到结果，譬如这里我们想要得到...● 多列数据 apply()最特别的地方在于其可以同时处理多列数据，譬如这里我们编写一个使用到多列数据的函数用于拼成对于每一行描述性的话，并在apply()用lambda函数传递多个值进编写好的函数中...注意这里的year、gender列是以索引的形式存在的，想要把它们还原回数据框，使用reset_index(drop=False)即可： ?...● 聚合数据框 对数据框进行聚合时因为有多列，所以要使用字典的方式传入聚合方案： data.agg({'year': ['max','min'], 'count': ['mean','std']})...可以注意到虽然我们使用reset_index()将索引列还原回变量，但聚合结果的列名变成红色框中奇怪的样子，而在pandas 0.25.0以及之后的版本中，可以使用pd.NamedAgg()来为聚合后的每一列赋予新的名字
) print(data.shape) 2.1 map() 类似Python内建的map()方法，pandas中的map()方法将函数、字典索引或是一些需要接受单个输入值的特别的对象与对应的单个列的每一个元素建立联系并串行得到结果...但相较于map()针对单列Series进行处理，一条apply()语句可以对单列或多列进行运算，覆盖非常多的使用场景。...下面用几个简单的例子演示其具体使用方式： 聚合Series 在对Series进行聚合时，因为只有1列，所以可以不使用字典的形式传递参数，直接传入函数名列表即可： #求count列的最小值、最大值以及中位数...data['count'].agg(['min','max','median']) 聚合数据框 对数据框进行聚合时因为有多列，所以要使用字典的方式传入聚合方案： data.agg({'year'...False) 可以注意到虽然我们使用reset_index()将索引列还原回变量，但聚合结果的列名变成红色框中奇怪的样子，而在pandas 0.25.0以及之后的版本中，可以使用pd.NamedAgg
1.1按列分组 按列分组分为以下三种模式： 第一种: df.groupby(col),返回一个按列进行分组的groupby对象; 第二种: df.groupby([col1,col2]),返回一个按多列进行分组的...print(list(gg)) 【例2】采用函数df.groupby([col1,col2]),返回一个按多列进行分组的groupby对象。...使用函数分组 比起使用字典或Series,使用Python函数是一种更原生的方法定义分组映射。 【例6】以上一小节的DataFrame为例,使用len函数计算一个字符串的长度,并用其进行分组。...: cities.agg({'shenzhen':['sum'],'beijing':['mean'],'nanjing':['sum','mean']}) 2.2逐列及多函数应用 【例10】同时使用groupby...具体的办法是向agg传入一个从列名映射到函数的字典: 只有将多个函数应用到至少一列时，DataFrame才会拥有层次化的列 2.3.返回不含行索引的聚合数据 到目前为止，所有例中的聚合数据都有由唯一的分组键组成的索引
数据 分组 聚合 运算 聚合 ‘ 飞行综合 flights = pd.read_csv('data/flights.csv') 1 显示部分数据 2 按照AIRLINE分组， 使用agg方法， 传入要聚合的列和聚合函数...flights.groupby('AIRLINE').agg({'ARR_DELAY':'mean'}).head() 3 或者要选取的列使用索引， 聚合函数作为字符串传入agg flights.groupby...('AIRLINE')['ARR_DELAY'].agg('mean').head() 4 每家航空公司每周平均每天取消的航班数 flights.groupby(['AIRLINE', 'WEEKDAY...(['AIRLINE', 'WEEKDAY'])['CANCELLED', 'DIVERTED'] group1.agg(['sum', 'mean']).head(7) 6 # 用列表和嵌套字典对多列分组和聚合...数据透视表 数据透视表 交叉表 综合练习 读取显示前8 表中数据做索引，后面列都是数值 Pandas可视化 线性表 四列累加和的直方图 柱状图 bar条状 叠 barth水平堆叠
1.分组键是列名 分组键是列名时直接将某一列或多列的列名传给 groupby() 方法，groupby() 方法就会按照这一列或多列进行分组。...求众数、var 求方差、std 求标准差、quantile 求分位数 （2）按多列进行分组 按多列进行分组，只要将多个列名以列表的形式传给 groupby() 即可。...df.groupby(["客户分类","区域"]).sum() #只会对数据类型为数值（int，float）的列才会进行运算 无论分组键是一列还是多列，只要直接在分组后的数据进行汇总运算，就是对所有可以计算的列进行计算...有时不需要所有的列进行计算，这时就可以把想要计算的列（可以是单列，可以是多列）通过索引的方式取出来，然后在这个基础上进行汇总运算。...② 针对不同的列做不同的汇总运算:字典形式，*键名*是*列名*，*键值*是*汇总方式*字符串形式。 返回值: 一个DataFrame对象。
，否则求均值时会报异常 如果是根据多列分组则在groupby后面使用列表指定，并且调用求均值函数；输出的值将是分组列，均值结果； group = frame['price'].groupby([frame...的列只有单个时（示例根据hobby进行分组），可以 使用 key , value 形式 对分组后的数据进行迭代，其中key 是分组的名称，value是分组的数据； group = frame['price...可以对分组后的数据转为字典； dic = dict(list(frame.groupby(frame['hobby']))) print(dic) 输出 {‘hiking’: user hobby...1.233396 0.313839 reading -0.298887 0.982853 running -0.797734 -1.230811 Tip: 本质上都是数组，除了Series，还可以使用字典...，列表，数组，函数作为分组列 2.6 通过索引层级分组 传入级别的名称即可实现层级化索引分组 # 创建2个列，并且指定名称 columns = pd.MultiIndex.from_arrays([[
droplevel(0, axis=1)用于删除多级索引指定的级别，axis=0可以删除行索引，axis=1则可以删除列索引，第一参数表示删除级别0。...当然如果列索引存在名称时还可以传入名称字符串，可参考官网文档： df = pd.DataFrame([ ... [1, 2, 3, 4], ... [5, 6, 7, 8], ......Series的内部方法： df.groupby("姓名")["得分"].apply(lambda x:x.to_list()) 使用Series内部方法的性能比python列表方法转换快一些。...发现结果中有一列，不是整数，所以还原成整数（总分100分，8位足够存储）： _.astype({"得分1":"int8"}) 结果： ? 解析json字符串并字典分列 需求： ?...**.apply(pd.Series)则可以将每个字典对象转换成Series，则可以将该字典扩展到多列，并将原始的Series转换为Datafream。
图1 使用VBA，可以自动执行这样的操作，删除工作表所有数据列中的重复行，或者指定列的重复行。 下面的Excel VBA代码，用于删除特定工作表所有列中的所有重复行。...Cols(i) = i + 1 Next i rng.RemoveDuplicates Columns:=(Cols), Header:=xlYes End Sub 这里使用了当前区域...如果只想删除指定列（例如第1、2、3列）中的重复项，那么可以使用下面的代码： Sub DeDupeColSpecific() Cells.RemoveDuplicates Columns:=Array...(1, 2, 3), Header:=xlYes End Sub 可以修改代码中代表列的数字，以删除你想要的列中的重复行。
进行切片，对行的指定要使用索引或者条件，对列的索引必须使用列名称，如果有多列，则还需要借助[]将列名称括起来。...使用 iloc 传入的行索引位置或列索引位置为区间时，则为前闭后开区间 #例3-46，iloc条件切片 #iloc内部传入表达式，进行条件切片，需使用.values属性 print('条件表达式使用字典方式...pieces = dict(list(df.groupby('key1'))) pieces['b'] 实例的属性: groupby.groups：返回每组中数据的索引，字典类型。...) 缺失值补充 df.isnull().T.any() == True返回缺失值所在行的索引 也可以使用 pandas.DataFrame.fillna()方法进行常量填补（） 输入字典来指定每一列的填补值...(),这个是用来将多列转化一列： pd.melt(df, id_vars=['key'], value_vars=['A', 'B']) 该函数最后返回的是一个以id_vars列作为索引,以value_vars
在《Excel实战技巧109：快速整理一列数据拆分成多列》中，我们使用一种巧妙的思路解决了将一列数据拆分成多列的问题。本文介绍使用公式实现的方法。 示例工作簿中的数据如下图1所示。...图2 可以使用下面的公式来实现。...在单元格E4中输入数组公式： =INDEX(A3:A29,ROWS(E4:E4)+(COUNTA(E3:G3)-1)*(ROWS(E4:E4)-1)+COLUMNS(E3:E3)-1) 向右拖至列G，向下拖至行...公式中： A3:A29，是列A中原数据列表。 ROWS(E4:E4)，统计指定区域的行数，区域通过锁定第一个引用并保留第二个引用为相对引用来扩展。...COLUMNS(E3:E3)，统计指定区域的列数。区域通过锁定第一个引用并保留第二个引用为相对引用来扩展。当公式向右拉时，列数将增加（1，然后是 2，3，等等……）。
DataFrame和Series是Pandas最基本的两种数据结构 可以把DataFrame看作由Series对象组成的字典，其中key是列名，值是Series Series和Python...Pandas与Python常用数据类型对照 加载筛选数据 df根据列名加载部分列数据：加载一列数据，通过df['列名']方式获取，加载多列数据，通过df[['列名1','列名2',...]]。...df按行加载部分数据：先打印前5行数据 观察第一列 print(df.head()) 最左边一列是行号，也就是DataFrame的行索引 Pandas默认使用行号作为行索引。...传入的是索引的序号，loc是索引的标签 使用iloc时可以传入-1来获取最后一行数据，使用loc的时候不行 loc和iloc属性既可以用于获取列数据，也可以用于获取行数据 df.loc[[行]，[列]...，求平均，求每组数据条目数（频数）等 再将每一组计算的结果合并起来 可以使用DataFrame的groupby方法完成分组/聚合计算 df.groupby(by='year')[['lifeExp','
图3 实际上，我们可以使用groupby对象的.agg()方法将上述两行代码组合成一行，只需将字典传递到agg()。字典键是我们要处理的数据列，字典值（可以是单个值或列表）是我们要执行的操作。...图4 图5 使用字典方式，除非使用rename()方法，否则无法更改列名。...，也允许使用正则元组，因此我们可以进一步简化上述内容： 图7 按多列分组 记住，我们的目标是希望从我们的支出数据中获得一些见解，并尝试改善个人财务状况。...我们也可以使用内置属性或方法访问拆分的数据集，而不是对其进行迭代。例如，属性groups为我们提供了一个字典，其中包含属于给定组的行的组名（字典键）和索引位置。...要计算“Fee/Interest Charge”组的总开支，可以简单地将“Debit”列相加。 图14 可能还注意到，我们可以使用.loc方法获得与上面的groupby方法完全相同的结果。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
