首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

手把手教你做一个“渣”数据师,用Python代替老情人Excel

Excel成为我的“初恋”十年之后,是时候找一个更好的“另一半”了,在这个技术日新月异的时代,更好更薄更轻更快处理数据的选择就在身边!...三、分割:即Excel过滤器 描述性报告是关于数据子集和聚合的,需要初步了解数据,通常使用过滤器来查看较小的数据集或特定的,以便更好的理解数据。...2、查看多 ? 3、查看特定行 这里使用的方法是loc函数,其中我们可以指定以冒号分隔的起始行和结束行。注意,索引从0开始而不是1。 ? 4、同时分割行和 ? 5、某一筛选 ?...五、数据计算 1、计算某一特定的值 输出结果是一个系列。称为单列数据透视表: ? 2、计数 统计每或每行的非NA单元格的数量: ? 3求和 按行或求和数据: ? 为每行添加总: ?...默认方法; outer——左侧或右侧DataFrame存在匹配,返回所有记录。 ? 以上可能不是解释这个概念的最好例子,但原理是一样的。

8.3K30

python数据科学系列:pandas入门详细教程

,但数据内部可以是异构数据,要求同数据类型一致即可 numpy的数据结构支持数字索引,而pandas数据结构则同时支持数字索引和标签索引 从功能定位上看: numpy虽然也支持字符串等其他数据类型...或字典(用于重命名行标签和标签) reindex,接收一个新的序列与已有标签匹配,原标签不存在相应信息,填充NAN或者可选的填充值 set_index/reset_index,互为逆操作,...切片形式访问按行进行查询,又区分数字切片和标签切片两种情况:输入数字索引切片时,类似于普通列表切片;输入标签切片时,执行范围查询(即无需切片首末值存在于标签),包含两端标签结果,无匹配行时返回为空...如下实现对数据表逐元素求平方 ? 广播机制,即维度或形状不匹配,会按一定条件广播后计算。...3 数据转换 前文提到,处理特定值可用replace对每个元素执行相同的操作,然而replace一般仅能用于简单的替换操作,所以pandas还提供了更为强大的数据转换方法 map,适用于series

13.8K20
您找到你想要的搜索结果了吗?
是的
没有找到

求和家族,不简单

1.sum基础求和 sum语法规则是: =sum(数据区域) 案例:对下表的“销售”求和,计算出总销量 销售总量单元格(G2)输入公式: ​=sum ( 1* (E2:E11)) 公式说明:销售...因为 “销量”里存在文本形式的数字这种数据作为sum函数的参数,会被当作为文本来运算,所以如果直接用公式=sum(E2:E11)求和,文本型数字就没有被包括求和,从而使得求出来的结果与真实结果并不相符...如何把文本型数字转换为数值型数字呢? 可以用“分列”的方法,直接把文本型数字转换为数值,然后求和。还有一种办法是像案例的1*(E2:E11)的形式强制转换为数值格式。  ...B2) 公式说明: (1)要对不同的表的相同区域进行求和,可以用sum进行跨表求和 (2)跨表引用多个相邻的工作表相同的数据区域进行汇总,无须逐个工作表对数据区域进行引用,可以按工作表的排列顺序,...6.数据库求和:dsum函数 作为求和家族的一员,dsum函数相对于其它成员来说,存在感不强,这里了解下即可。 dsum函数,返回的是数据区域中满足指定条件的数字之和。

1.7K00

个人永久性免费-Excel催化剂功能第37波-把Sqlserver的强大分析函数拿到Excel中用

60万行数据求COUNTIF计数3间 一般来说,通用型函数的开发,没有说为哪个特定业务场景的需求而开发,但只要业务场景匹配到,通用型的函数发挥的可应用的场景是很丰富的。...分组列为两的效果 分组序号 分组序号函数特点,分组内的记录数,每一行返回从1开始的不重复的递增的序列,基于排序列定义的顺序,分组,排序列可以为多排序规则下的排序列相同,将从上往下填充递增序号...使用场景:对于数据清洗工作尤其有用,数据有重复,需要去根据分组的唯一值进行去重是保留最开始出现的记录还是最后出现的记录,只需配合排序列的升序或降序处理,即可保留序号为1的记录,其他记录删除的方式实现数据清洗...排序列为多的效果 出现多个分组,因自定义函数参数位置固定的原因,只有第1参数才是分组的输入参数,故需要嵌套FZJS分组合并函数,用于合并多个分组。 ?...类似SUMIFS的多组求和效果 取某一位置值 需要取某一位置的值,可以灵活地提取上一元素、下一元素、首元素、末元素。

1.7K20

IDOR漏洞

私有程序遇到一个例子。移动应用程序购买时会添加信用卡。测试请求之后,可以认为没有任何漏洞。但是,进行第二次购买,会看到信用卡选择屏幕,此时IDOR漏洞就出现了。...同样,通过向“/messages/5955”发出请求来尝试访问另一个用户的消息,将不会访问该消息。当用户想要将另一个用户添加到自己的消息,会出现如下所示的请求。...如果你面对散值,则应测试散值是可访问值还是可预测值。另一种情况下,您可以“Referrer”标头中访问散值,因此这些脚本是被可以复制的。...因此,您可以创建2个测试帐户作为X和Y,然后Burp历史记录的Y请求尝试X的散id值。 如果我们触及另一个主题,某些应用程序的请求可能会吓到你。...此外,为了使攻击者的工作更加困难甚至有时甚至可以防止它,您可以使用散函数并使用散值而不是正常数字或字符串。

3.2K30

MySQL 性能优化--优化数据库结构之优化数据类型

优化数字数据(Numeric Data) l 对于唯一ID或其它可用字符串或数字表示的值,选择用数字好过用字符串列。...MySQL检索来自某记录行的任意值,它会读取包含该记录行(也可能还有其它相邻行)所有的数据块。保持每个记录行尽可能的小,含最频繁使用的,这样允许每个数据块中放入更多的记录行。...连续的主键值物理上连续存储,可以加快InnoDB的插入和检索速度。...l 与其直接比较长文本字符串的相等性,可在某个单独的存储长文本所在值的哈希,并为存储哈希值的建立索引,查询的时候测试哈希是否相等(使用MD5()、CRC32()函数生成哈希值)。...l max_memory:默认为8192,ANALYSE()试图查找所有不重复值,为每分配的最大内存量。 注意:PROCEDURE ANALYSE()不能在UNION语句中使用。

5K20

计算机基础操作Excel函数使用1

一、vlookup函数 作用:根据某个字段去查找对应的另一个字段的值。 这里说的字段指的是表格的某个表头。 参数: 第一个:需要根据什么值进行查找匹配(这个值必须是第二个参数的第一)。...第三个:显示匹配到的值属于范围的第几列。 第四个:false或者忽略表示精确匹配。 举例: VLOOKUP(D3,图书定价!$A$3:图书定价!...$B$19,2,FALSE) 解释: 根据D3单元格的值,到“图书定价!$A$3:图书定价!$B$19”范围内进行匹配,根据精确匹配到的行,最终显示第二的值。...第二个:条件为真(true)要执行的区域。 第三个:条件为假(false)要执行的区域。 四、sum函数 作用:求和某个区域的和。 五、sumifs函数 作用:根据多个条件筛选后来求和。...参数: 第一个:需要求和的区域(一般是某一)。

90330

mysql基本命令

3) values (值1,值2,值3); -- 格式2: -- 都要写入时,可不用列名 insert into 表名 values (值1,值2,值3,值4); -- 格式3: --...==avg,计算指定中所有数据的平均数 select avg(列名) from 表名;(获取到该平均值) -- 注意:空值计算直接忽略 -- 结:聚合函数的返回值,只有一个值. -- 对数据类型有要求...1进行求和并显示 select sum(1),2 from 表名 group by 2; -- +:结合条件查询,条件在前↓: select sum(1),2 from 表名 where...-- where 是分组前对数据进行过滤 -- 之前的例子:我们要对已经得到的数据再进行一个筛选: -- 比如说得到的数据,我们只需要1大于18的所有值,这是代码后再加一个where是行不通的...2的'张三'内容对1进行求和并按降序显示且只显示 sum(1) 的值大于18的内容; -- $分组查询:(关键词:limit x,y) -- x:表示从第几行开始显示(不包括x行,x为0,可省略不写

1.5K20

Excel公式练习:查找每行的最小值并求和(续)

《Excel公式练习:查找每行的最小值并求和,我们提供的示例数据每行只有2,如果数据有3,又如何求每行最小值之和呢? 本次的练习是:如下图1所示,求每行最小值之和。...解决方案 公式1:《Excel公式练习:查找每行的最小值并求和的公式5可以应用到3: =SUM(LARGE(A1:C10,MOD(LARGE(ROW(A1:C10)*10^6+RANK(A1:C10...实际上,如果我们可以将包含多行和多的二维区域转换为包含一的一维区域,则可以按如下方式重新定义任务:给定一个单列区域,我们是否可以确定应该查看哪些索引,以便获得每行的最小数?...为了直观地解释这一点,我第G和第H插入了RANK函数。RANK函数也LARGE函数一样,处理一维和二维区域。 G和H,可以看到上面数组给定的值已按条件格式化,如下图2所示。...因为RANK函数从秩1开始(对于最大的数据值),它向下移动数据集,分配更高的秩值,涉及到重复,它将相同的秩分配给相同数据值的所有重复实例,然后将下一个秩分配给数据集中下一个较小的值跳过秩。

2.2K40

干货!直观地解释和可视化每个复杂的DataFrame操作

包含值的将转换为两:一用于变量(值的名称),另一用于值(变量包含的数字)。 ? 结果是ID的值(a,b,c)和值(B,C)及其对应值的每种组合,以列表格式组织。...爆炸,其中的所有列表将作为新行列同一索引下(为防止发生这种情况, 此后只需调用 .reset_index()即可)。...作为另一个示例,级别设置为0(第一个索引级别),其中的值将成为,而随后的索引级别(第二个索引级别)将成为转换后的DataFrame的索引。 ?...how参数是一个字符串,它表示四种连接 方法之一, 可以合并两个DataFrame: ' left ':包括df1的所有元素, 其键为df1的键才 包含df2的元素 。...' right ':' left ',但在另一个DataFrame上。包括df2的所有元素, 其键是df2的键才 包含df1的元素 。

13.3K20

看图学NumPy:掌握n维数组基础知识点,看这一篇就够了

从NumPy数组获取数据的另一种超级有用的方法是布尔索引,它允许使用各种逻辑运算符,来检索符合条件的元素: ? 注意:Python的三元比较3<=a<=5NumPy数组不起作用。...axis参数 许多操作(例如求和,我们需要告诉NumPy是否要跨行或跨进行操作。...第一部分,我们已经看到向量乘积的运算,NumPy允许向量和矩阵之间,甚至两个向量之间进行元素的混合运算: ? 行向量与向量 从上面的示例可以看出,二维数组,行向量和向量被不同地对待。...这两个函数只堆叠矩阵或只堆叠向量,都可以正常工作。但是涉及一维数组与矩阵之间的混合堆叠,vstack可以正常工作:hstack会出现尺寸不匹配错误。...最后,还有一个函数,可以处理多维数组时节省很多Python循环,并使代码更简洁,这就是爱因斯坦求和函数einsum: ? 它将沿重复索引的数组求和

6K20

Excel公式技巧81:查找数字,可以考虑使用SUMIFS函数

我们查找值,通常会想到VLOOKUP函数,或者INDEX/MATCH函数。 VLOOKUP函数指定区域的首列查找值,并返回指定对应的值。INDEX函数基于指定的行号标从单元格区域中返回值。...2.存在多个相匹配的值,VLOOKUP函数返回第一个相匹配的值,而SUMIFS函数返回所有匹配项之和。...3.某值一个单元格作为数字类型存储,而在另一个单元格作为文本字符串存储,VLOOKUP不会将它们认为是相等的值,而SUMIFS函数不会这么讲究,将匹配相等的值,甚至作为不同数据类型存储。...4.当在查找区域中插入新,VLOOKUP函数不会更新并将返回一个不可预知的结果,而SUMIFS函数的参数sum_range插入新时会自动更新,即它是动态的且适应列的插入。...鉴于上述描述,需要返回的值是数字,我们可以考虑使用SUMIFS函数执行典型的使用传统查找函数所执行的任务。

1.8K10

Excel函数-sumif用法实例

Excel函数-sumif用法实例 ◆SUMIF函数功能 SUMIF函数用于计算单元格区域或数组符合某个指定条件的所有数字的总和。...◆SUMIF函数使用注意事项 (1)参数criteria包含比较运算符,运算符必须用双引号括起,否则公式会出错。 (2)可以参数 criteria 中使用通配符—问号(?)和星号(*)。...◆实例1:求B的是“小学”的D的的数据之和 =SUMIF(B2:B14,"小学",D2:D14) ◆实例2:返回B除了“小学”之外C的数据之和 =SUMIF(B:B,"如花",C:C)...◆实例3:返回大于90的数据之和 =SUMIF(C:C,">90") ◆实例4:返回低于平均值的数据之和 =SUMIF(C:C,"<"&AVERAGE(C:C)) 注意,使用其他公式作为求和条件,如果在求和条件的公式前使用大于...要求B设置公式,统计每个单位的总得分。

1.7K10

商业数据分析从入门到入职(3)Excel进阶应用

引用 如A2返回单元格A2的值。 常量 直接输入到公式数字或文本值,例如2。 运算符 ^运算符表示数字的乘方,而*运算符表示数字的乘积。 &是连字符,可以连接两个文本,如下: ?...Excel也有真和假,即TRUE和FALSE,TRUE对应1,FALSE对应0。 对一根据条件进行不同赋值,如下: ?...可以看到,TRUE和FALSE可以参与运算; 使用表格的值代替常量进行计算,出现了引用的问题,默认一般是相对引用,即在进行填充一般是使用的相同行对应列的数据,如=(A3"中部地区")*8+...还可以进行混合引用,即位置的行和只有一个改变,另一个不改变,不改变的用$修饰。 如下: ? 显然,通过混合引用实现了打印九九乘法表。 函数基本用法如下: ?...SUMIF 和COUNTIF类似,SUMIF是根据条件进行求和的,简单使用如下: 待求和数据所在的和条件所在的不是同一,稍微复杂一点,如下: 显然,此时需要传递3个参数,才能求和

2.1K10

20个Excel操作技巧,提高你的数据分析效率

7.高亮显示每一数据的最大值 选中数据区域,点击开始——条件格式——新建规则——使用公式确定要设置格式的单元格,相应的文本框输入公式=B2=MAX(B$2:B$7),然后设置填充颜色即可。 ?...9.批量计算单元格内的公式 先输入一个空格,之后输入=3*8,选中区域,按Ctrl+E进行快速填充,随后按Ctrl+H打开查找和替换对话框,查找输入=,替换输入空格+等号,全部替换,然后查找输入空格...15.快速选中公式所需的某数据区域 设置公式,我们经常直接用鼠标往下拖拉选中数据区域,其实,只要借助【Ctrl+Shift+↓】组合键就可以快速公式输入数据区域。 ?...19.数据求和 对报表进行求和可以说是一个相当高频的操作了。比如,下图是一个对报表进行求和汇总(按行、按、总计)的常规操作。...选中数据及要求和的空白区域,键盘上同时按“ALT和等号键(ALT+=)”。 ? 20.取消“合并单元格”的报表处理 报表处理,合并单元格非常常见,但同时也给数据汇总和计算带来麻烦。

2.4K31

Excel 常用的九十九个技巧 Office 自学教程快速掌握办公技巧

1、快速求和对多行多的单元格数据求和,可以直接选取单元格区域,按组合键【Alt、+、=】即可快速求和。...4、快速隐藏列表格内容太多需要隐藏工作表某一的数据可直接选取,快速向左拖动,选中的就隐藏了。...8、填充数值:遇到编序号可以先依次单元格内输入连续几个数值,然后选择单元格区域,鼠标移至左下方变成黑十字则向下拖动填充即可。...23、快速切换至另一个 Excel 窗口当我们需要查阅两个表格的文件内容,可直接按组合键【Ctrl+Tab】键切换表格窗口。...87、两互换选取 A 光标放在边线处,按 shift 同时按下鼠标左键不松,拖动到 B 前面, B 前出现虚线,松开鼠标左键即完成互换。

7K21

精通Excel数组公式008:数组常量

数组常量(垂直数组常量) 如下图1和图2所示,如果使用公式引用一的项目,按F9评估其值,会看到:花括号内放置了一组项目,文本被添加上了引号,分号意味着跨行,且项目使用分号。 ?...行数组常量(水平数组常量) 如下图3和图4所示,如果使用公式引用一行的项目,按F9评估其值,会看到:花括号内放置了一组项目,文本被添加上了引号,数字仍保留原形式,逗号意味着跨,且项目行使用逗号...3.表数组常量(双向数组常量) 如下图5和图6所示,如果使用公式引用行列组成的表,按F9评估其值,会看到:花括号内放置了一组项目,文本被添加上了引号,数字仍保留原形式,分号意味着跨行,逗号意味着跨...逗号意味着跨 4. 数组的文本放置双引号 5. 数字、逻辑值和错误值不需要双引号 6....函数对3个最小的值相加(包括重复值) 在有些情形下,求和可能要包含重复值,如下图10所示。

2.8K20

SQL命令 UPDATE(一)

描述 UPDATE命令更改表的现有值。 可以直接更新表的数据,也可以通过视图进行更新,或者使用括括号的子查询进行更新。...数字以规范形式插入,但可以用前导零和尾随零以及多个前导符号来指定。 然而,SQL,两个连续的负号被解析为单行注释指示符。...因此,试图指定具有两个连续前导减号的数字将导致SQLCODE -12错误。 使用WHERE CURRENT OF子句,不能使用当前字段值更新字段以生成更新的值。...例如: (StatusDate,Status) VALUES ('05/12/06','Purged') 将标量表达式值赋给列表,每个指定的必须有一个标量表达式。...使用不带列表的VALUES关键字,指定下标数组,其中数字下标对应列号,包括列计数不可更新的RowID作为号1。

2.9K20
领券