用pandas.groupby+apply+to_excel进行按‘班别’列对一个Excel文件拆分成一个班一个文件的操作。...简单又强大 2.pandas+groupby+rank利用总分按班排名与按级排名 原数据表 # -*- coding: UTF-8 -*- import pandas as pd df=pd.read_excel..._1.xlsx') """ print(df) #在列的方向上删除‘学号’‘语文’ df=df.drop(['学号','语文'],axis=1) print(df) #在列的方向上删除index为1 和2...的整行数据 df=df.drop([1,2],axis=0) print(df) """ #f=df.groupby(['班别']).get_group(901) #print(f) #按班别拆分开另存了一个班一个...’并输入数字 #df['语名']=df['语文'].rank(ascending=0,method='dense') #只是按数学成绩排名,并重新列表,没有输入名次的 #d=df.sort_values
在SQL Server中Count(*)或者Count(1)或者Count([列])或许是最常用的聚合函数。很多人其实对这三者之间是区分不清的。...往常我经常会看到一些所谓的优化建议不使用Count(* )而是使用Count(1),从而可以提升性能,给出的理由是Count( *)会带来全表扫描。而实际上如何写Count并没有区别。 ...Count(1)和Count(*)实际上的意思是,评估Count()中的表达式是否为NULL,如果为NULL则不计数,而非NULL则会计数。...比如我们看代码1所示,在Count中指定NULL(优化器不允许显式指定NULL,因此需要赋值给变量才能指定)。
思路就是通过article表来分别join成果product表、user表和project表,然后group里用productid来筛选,最后再用projectid筛选。...err error) { db := GetDB() db.Order("total desc").Table("article").Select("product_id as productid, count...Joins("left JOIN user on user.id = product.uid").Group("product.uid").
执行效果 count(1) V.S count(*) 表数据量大,对表分析后,用count(1)还要比用count()用时多! 执行计划看,count(1)和count(*)效果一样。...因为count(*)会自动优化指定到那一个字段。所以没必要去count(1),用count(*),sql会帮你完成优化。 因此:count(1)和count(*)基本无差。...实例 create table counttest(name char(1), age char(2)); mysql> select * from counttest; +------+------+...| 16 | | c | 17 | | d | NULL | | e | | +------+------+ 8 rows in set (0.00 sec) mysql...-> group by name; +------+-------------+-----------+----------+------------+-------------------+
注:下面的讨论和结论是基于 InnoDB 引擎的。 首先要弄清楚 count() 的语义。...所以,count(*)、count(1)和count(主键 id) 都表示返回满足条件的结果集的总行数;而 count(字段),则表示返回满足条件的数据行里面,参数“字段”不为 NULL 的总个数。...判断字段不可空,按行累加。...count(1) 扫描全表,但不取值,server层收到的每一行都是1,判断不可能是null,按值累加。...因为count(*)返回的行一定不是空。扫描全表,但是不取值,按行累加。
在 MySQL 中,COUNT 函数是一个非常常用的聚合函数,它用于计算某列或某表达式在查询结果中出现的次数。...但是,在实际使用过程中,我们可能会遇到不同的 COUNT 函数写法,比如 COUNT(*)、COUNT(主键id)、COUNT(字段) 和 COUNT(1),这些写法在效率上有何差别呢?...但需要注意的是,只有在表没有 WHERE 子句和 GROUP BY 子句时,才能使用这种优化方式。...综上所述,我们可以得出以下结论:当查询的表中不存在 WHERE 子句和 GROUP BY 子句时,COUNT(*) 可能比 COUNT(主键id) 稍微快一点。...在单表查询时,COUNT(1) 和 COUNT(字段) 的性能通常相同,因为它们使用的优化方案也相同。在多表查询时,COUNT(1) 通常比 COUNT(字段) 更快。
在select count(?) from t这样的查询语句里面,count(*)、count(主键id)、count(字段)和count(1)等不同用法的性能,有哪些差别。...但是count(*)是例外,并不会把全部字段取出来,而是专门做了优化,不取值。count(*)肯定不是null,按行累加。...但是这种需要专门优化的情况太多了,而且MySQL已经优化过count(*)了,你直接使用这种用法就可以了。...其实,把计数放在Redis里面,不能够保证计数和MySQL表里的数据精确一致的原因,是这两个不同的存储构成的系统,不支持分布式事务,无法拿到精确一致的视图。...而把计数值也放在MySQL中,就解决了一致性视图的问题。 InnoDB引擎支持事务,我们利用好事务的原子性和隔离性,就可以简化在业务开发时的逻辑。这也是InnoDB引擎备受青睐的原因之一。
,跟NULL和非NULL无关。...COUNT(*) 与 COUNT(1)比较 在MySQL的官方文档中是这样介绍COUNT函数的: COUNT(expr)官方说明 也就是说,COUNT(expr) 函数会返回SELECT语句检索的行中expr...在文档的后面,还有一段专门关于COUNT(*)和COUNT(1)性能的说明: COUNT(*)和COUNT(1) 在上面的描述中,明确指出了:InnoDB 对SELECT COUNT(*)和SELECT...例如: mysql> SELECT COUNT(*) FROM student; 这种优化仅适用于MyISAM表,因为该存储引擎会存储准确的行数(row count),并且可以快速访问。...在《高性能Mysql》一书中对COUNT()函数的作用介绍如下: COUNT()是一个特殊的函数,有两种非常不同的作用:它可以统计某个列值的数量,也可以统计行数。
然后发现GROUP BY必须放在ORDER BY的前面 但这样又会导致不能取最新的一条数据 于是用了一个“子查询”的办法解决 <select id="cowBeer" resultType="map"...FROM [表名] AS msg, [表名] AS user WHERE [条件] ORDER BY [创建时间字段] DESC ) r GROUP
count(1)真的比count(*)快那么多吗?count(1)和count(*)的区别究竟在哪里?接下来我们就来一一揭晓。...(*)和count(1),耗时均稳定在1.5s左右,因为都是从buffer pool读取数据 mysql> select count(*) from sbtest1; +----------+ | count...,count(1)比count(*)快很多,可能只是因为读内存和读磁盘造成的错误印象。...那么count(*)和count(1)究竟有没有区别呢?接下来我们继续分析。...(*)和count(1)的执行计划相同,profile消耗也相同 (5)翻阅MySQL官方文档(5.6和5.7),也可以找到说明,count(*)和count(1)是一模一样的,没有性能差异 InnoDB
count COUNT()函数里面的参数是列名的的时候,那么会计算有值项的次数。...(NULL 不计入, 但是''值计入) COUNT(*)可以计算出行数,包括null COUNT(1)也可以计算出行数,1在这里代表一行 COUNT(column)对特定的列的值具有的行数进行计算,不包含...NULL值 COUNT(条件表达式),不管记录是否满足条件表达式,只要非NULL就加1 ,所以一般都count(id=1 or null) sum sum()参数是列名的时候,计算列名的值的相加,不是统计有值项的总数...sum(id=2) 当参数是表达式的时候,统计满足条件的行数 注: 上面id指列名,=后面的代表值 本文参考:MySQL中sum和count用法总结,如需转载请注明出处
---- 数据量 mysql> select count(1) from employees ; +----------+ | count(1) | +----------+ | 100002 |...看看我们二级索引的建立的字段顺序 , 创建顺序为name,age,position,但是排序的时候age和position颠倒位置了, 那排好序的特性肯定就无法满足了,那你让MySQL怎么走索引?...---- group by 优化 group by与order by类似,其实质是先排序后分组,遵照索引创建顺序的最左前缀法则。...对于group by的优化如果不需要排序的可以加上order by null禁止排序。 where高于having,能写在where中的限定条件就不要去having限定了。...---- 小结 MySQL支持两种方式的排序filesort和index,Using index是指MySQL扫描索引本身完成排序 order by满足两种情况会使用Using index A
官方文档 https://dev.mysql.com/doc/ ?...如果英文不好的话,可以参考 searchdoc 翻译的中文版本 http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114...---- 优化的原因 MySQL-Btree索引和Hash索引初探 中 什么情况下会使用到B树索引 。...not int 和 操作无法使用索引 ---- not in 的优化 如果not in 的指标范围非常大的话,这个效率很差。...---- 使用汇总表优化count(*)查询 select count(*) from product_comment where product_id = 999; 如果这个表 有上亿条,或者并发访问很高的情况
URISyntaxException { String colStr = null; BufferedReader buffer = readHdfs(file); //rowKey和count...sumCol = -1, minCol = -1, countCol = -1; //根据传进来的参数设置需要进行的聚合函数 if(args.containsKey("count...= -1) { colStr = "count"; insert(key, "res", colStr, mapCount.get...public static void main(String[] args) throws IOException, URISyntaxException { /** * 命令参数解析,解析出文件名,group...cmdStr[i].equals("count")) { cmd.put(StringUtils.substringBefore(cmdStr[i], "("), Integer.parseInt
很多人从早期MySQL优化器行为出发,认为COUNT(1)比COUNT(*)快,也有人坚持两者完全等价。这些说法在不同MySQL版本和存储引擎下表现并不一致。...COUNT(*)和COUNT(1)在这里都不需要读取具体字段值,只需要判断行是否存在,所以优化器把它们当成等价表达式处理。真正有区别的是COUNT(普通字段)。...实际业务里COUNT(字段)用得少,但一旦用在统计报表里,和COUNT(*)的性能差距可能来自索引选择而不是函数本身。那为什么会有“COUNT(1)更快”的说法?这来自MyISAM时代。...这个差异在MySQL5.7之后基本被抹平了,现在再纠结括号里写1还是星号意义不大。对于大表统计,更实际的问题是扫描本身的开销。...回到最初的问题,在InnoDB下COUNT(*)和COUNT(1)的行为已经统一,选哪个更多是代码风格问题。
MySQL怎么拿到有序的数据呢?如果分组字段上没有索引,MySQL就没法直接按顺序遍历。...从MySQL5.7开始,COUNT(*)和COUNT(1)的执行计划完全一样,性能没有区别。MySQL优化器会把它们优化成同一种执行方式——统计行数,不读取列值。...写法含义性能推荐COUNT(*)统计行数,不管NULL最快✅推荐COUNT(1)统计行数,不管NULL和COUNT(*)一样✅可以用COUNT(列名)统计该列不为NULL的行数最慢❌除非你就是要排除NULL...MySQL用这个索引时,数据是按order_time排序的,同一天上海和北京的订单交错在一起,city没有全局有序。...└──没有→建索引,按上述规则排顺序第四步:看有没有ORDERBY?├──ORDERBY和GROUPBY同列→索引搞定└──ORDERBY不同列→能不能去掉排序第五步:看COUNT写的是什么?
MySQL中distinct和group by去重的区别 在MySQL中,我们经常需要对查询结果进行去重,而DISTINCT和GROUP BY是实现这一功能的两种常见方法。...多列去重 根据aid和uid联合去重: SQL代码: SELECT aid, uid FROM pageview GROUP BY aid, uid; 聚合函数 + GROUP BY 统计每个aid的总数量...: SQL代码: SELECT aid, COUNT(*) FROM pageview GROUP BY aid; distinct和group by的区别 查询结果集不同 使用DISTINCT去重时,...性能不同 如果去重的字段有索引,那么GROUP BY和DISTINCT都可以使用索引,此情况下它们的性能是相同的。...而当去重的字段没有索引时,DISTINCT的性能可能会高于GROUP BY,因为在MySQL 8.0之前,GROUP BY有一个隐藏的功能会进行默认的排序,这样就会触发filesort从而导致查询性能降低
(2)...count(n)count(*) 和 count(1)、count(2)...count(n) 语义上略有区别,但它们的执行结果集一致。...总结上文中讨论了一些 count 函数的一些表现,并没有涉及 where 条件的使用,因为一旦引入 where 条件就会引入多个字段和多个字段的索引进行成本分析:上面的规则虽然看着很多,但实际上结合结果集和...MySQL底层索引的实现很好理解,比如:// 首先我们需要基本记住的是: count(*) count(n) 查询的是所有的数据。...作为一个 Java 后端技术爱好者,我不仅热衷于探索语言的新特性和技术的深度,还热衷于分享我的见解和最佳实践。我相信知识的分享和社区合作可以帮助我们共同成长。...在我的博客上,你将找到关于Java核心概念、JVM 底层技术、常用框架如Spring和Mybatis 、MySQL等数据库管理、RabbitMQ、Rocketmq等消息中间件、性能优化等内容的深入文章。
Mysql 函数concat、concat_ws和group_concat 本文介绍的是MySQL中3个函数的使用,主要是针对字符串的连接合并处理: concat concat_ws group_concat...group:分组的意思;concat:连接。...ORDER BY 连接之前按升序或者降序排列。....jpg] -- 1、将每个学生的成绩单独列出来 mysql> select s_id, group_concat(s_score) from Score group by s_id; +------+...----------------------------------------------------------------+ 7 rows in set (0.00 sec) distinct 和order
test order by (t+0) 1.2在进行ifnull处理时,比如 ifnull(a/b,'0') 这样就会导致 a/b成了字符串,因此需要把'0'改成0,即可解决此困扰 1.3 比较数字和varchar...相等 若绝对比较可以这样: select binary 11 =binary "11ddddd" 1.4 字符集转换 : CONVERT(xxx USING gb2312) 类型转换和SQL...TIME 日期时间型 : DATETIME 浮点数 : DECIMAL 整数 : SIGNED 无符号整数 : UNSIGNED 2、group_concat...()函数的排序方法 SELECT username,GROUP_CONCAT(score ORDER BY score DESC) AS myScore FROM tt GROUP BY username