有朋友问了我如下这样一个问题，最后的解决过程挺有意思的，让我发现了直方图统计信息里我之前没有注意到的两个知识点，这里跟大家分享一下。 问题 数据库的版本是11.2.0.3： 创建一个测试表T1： SQ
在 Hudi 0.10 中，我们引入了对高级数据布局优化技术的支持，例如 Z-order和希尔伯特空间填充曲线[1]（作为新的聚类算法），即使在经常使用过滤器查询大表的复杂场景中，也可以在多个列而非单个列上进行数据跳过。
默认情况下，数据库会为列收集基本统计信息，但不会收集直方图信息。Oracle通过指定DBMS_STATS的METHOD_OPT参数来创建直方图。METHOD_OPT参数可以接受如下的输入值：
count(1) count(*) 两者的主要区别是 count(1) 会统计表中的所有的记录数，包含字段为null 的记录。 count(字段) 会统计该字段在表中出现的次数，忽略字段为null 的情况。即不统计字段为null 的记录。 count(*) 和 count(1)和count(列名)区别 count(*)包括了所有的列，相当于行数，在统计结果的时候，不会忽略列值为NULL count(1)包括了忽略所有列，用1代表代码行，在统计结果的时候，不会忽略列值为NULL count(列名)只包括列名那
count(1)、count() 都是检索表中所有记录行的数目，不论其是否包含null值。 count(1)比count()效率高。
今天单位值班，有一些时间可以继续完成这篇连载文章。首先祝所有朋友新年快乐！感谢你们在这一年当中对我文章的关注和指点，来年我们共同继续努力！
select语句除了可以查看数据库中的表格和视图的信息外,还可以查看SQL Server的系统信息、复制、创建数据表。其查询功能强大，是SQL语言的灵魂语句，也是SQL中使用频率最高的语句。
在 PostgreSQL 中，收集的统计信息分为三类：为一张表收集的统计信息，为一个列收集的统计信息，以及为了一组列收集的统计信息。
这种说法愈演愈烈，甚至被很多同学奉为真理。咱啥话也不说，举个例子。假如我们有个表s1，结构如下：
在上一期《数据库对象信息记录表|全方位认识 mysql 系统库》中，我们详细介绍了mysql系统库中的元数据记录表，本期我们将为大家带来系列第四篇《统计信息记录表|全方位认识 mysql 系统库》，下面请跟随我们一起开始 mysql 系统库的系统学习之旅吧。
很多人认为count(1)执行的效率会比count()高，原因是count()会存在全表扫描，而count(1)可以针对一个字段进行查询。其实不然，count(1)和count(*)都会对全表进行扫描，统计所有记录的条数，包括那些为null的记录，因此，它们的效率可以说是相差无几。而count(字段)则与前两者不同，它会统计该字段不为null的记录条数。
当表的数据量大些时，对表作分析之后，使用count(1)还要比使用count(*)用时多了！
印象中网上有些“XX 面试官”系列的网文也有过类似问题的讨论，那 MySQL 统计数据总数 count(*) 、count(1)和count(列名) 哪个性能更优呢？今天我们就来聊一聊这个问题。
注意：由于 SQL 查询对大小写不敏感，所以在 WHERE 条件中，无论是写成 ZARA 还是 Zara，结果都是一样的
上篇介绍Hive优化器原理与源码解析系列—统计信息中间结果估算文章，TableScan，Project、Filter、Sort等等Operator操作符中间结果大小的估算受到两个因素的影响，选择率Selectivity和记录数RowCount。
相信在此之前，很多人都只是记忆，没去理解，只知道count(*)、count(1)包括了所有行，在统计结果的时候，不会忽略列值为NULL，count(列名)只统计列名那一列，在统计结果的时候，会忽略列值为NULL的记录。
PgSQL的优化器为一个查询生成一个执行效率相对较高的物理执行计划树。执行效率的高低依赖于代价估算。比如估算查询返回的记录条数、记录宽度等，就可以计算出IO开销；也可以根据要执行的物理操作估算出CPU代价。那么估算依赖的信息来源哪呢？系统表pg_statistic（列级别统计信息）为代价估算提供了关键统计信息。Analyze操作或者vacuum进行了统计信息采集，并将对数据按列进行分析，得到每列的数据分布、最常见值、频率等信息，更新到pg_statistic表。当然还有表级别的统计信息，存储在系统表pg_class：relptuples表示表的总元组数，relpages表示总页面数，等。
上一篇《事件统计 | performance_schema全方位介绍》详细介绍了performance_schema的事件统计表，但这些统计数据粒度太粗，仅仅按照事件的5大类别+用户、线程等维度进行分类统计，但有时候我们需要从更细粒度的维度进行分类统计，例如：某个表的IO开销多少、锁开销多少、以及用户连接的一些属性统计信息等。此时就需要查看数据库对象事件统计表与属性统计表了。今天将带领大家一起踏上系列第五篇的征程(全系共7个篇章)，本期将为大家全面讲解performance_schema中对象事件统计表与属性统计表。下面，请跟随我们一起开始performance_schema系统的学习之旅吧~
在上篇文章“Hive优化器原理与源码解析系列--统计信息选择性计算”中，讲到了基于成本优化器和基于规则优化器的区别，这里就不再赘述。基于成本优化器会根据RelSet（等价关系表达式集合，其中元素每个RelNode关系表达式又是SQL中如Select、From、Where、Group的以代数表达式的表现形式）选出综合成本最低的关系表达式，使用动态规划算法构建出成本最优执行计划。那么基于成本优化器CBO有哪些计算指标作为成本函数的输入，除了选择性Selectivity、基数Cardinality，排序信息Collation（排序字段，排序方向等）、是否分布式等物理属性收集之外，还有IO、记录数RowNums、内存Memory都计算在成本内。这些都会作为成本优化器成本函数的输入。此文主要在介绍成本函数估算指标-内存计算。
在上一篇 《事件记录 | performance_schema全方位介绍"》中，我们详细介绍了performance_schema的事件记录表，恭喜大家在学习performance_schema的路上度过了两个最困难的时期。现在，相信大家已经比较清楚什么是事件了，但有时候我们不需要知道每时每刻产生的每一条事件记录信息， 例如：我们希望了解数据库运行以来一段时间的事件统计数据，这个时候就需要查看事件统计表了。今天将带领大家一起踏上系列第四篇的征程(全系共7个篇章)，在这一期里，我们将为大家全面讲解performance_schema中事件统计表。统计事件表分为5个类别，分别为等待事件、阶段事件、语句事件、事务事件、内存事件。下面，请跟随我们一起开始performance_schema系统的学习之旅吧。
来源：blog.csdn.net/iFuMI/article/details/77920767
ifnull(col,value)判断col是否为空，为空则使用自己提供的值value
在使用 Pandas 进行数据分析时，我们需要经常进行查询和统计分析。 但是Pandas 是如何进行查询和统计分析得嘞, let’s go :
一台数据库服务器中会创建很多数据库（一个项目会创建一个数据库）,在数据库中会创建很多张表(一个实体会创建一个表),在表中会有很多记录（一个对象实例回添加一条新的记录）
一个报表的结构大致是几个部分：title、pageHeader、columnHeader、detail、columnFooter、pageFooter、lastPageFooter、summary以及groupHeader、groupfooter。 如下图：
根据某一条件从数据库表中查询 『有』与『没有』，只有两种状态，那为什么在写SQL的时候，还要SELECT COUNT(*) 呢？
来源| blog.csdn.net/iFuMI/article/details/77920767
小勤：在PowerQuery里，想统计一行中有多少个某个值，该怎么统计啊？比如说，我想计算一下某个商品一个月有多少天没有库存：
聚合函数对一组值执行计算并返回单一的值。除 COUNT 以外，聚合函数忽略空值，如果COUNT函数的应用对象是一个确定列名，并且该列存在空值，此时COUNT仍会忽略空值。
在上一篇 《配置详解 | performance_schema全方位介绍》 中，我们详细介绍了performance_schema的配置表，坚持读完的是真爱，也恭喜大家翻过了一座火焰山。相信有不少人读完之后，已经迫不及待的想要跃跃欲试了，今天将带领大家一起踏上系列第三篇的征程(全系共7个篇章)，在这一期里，我们将为大家全面讲解performance_schema中事件原始记录表。下面，请跟随我们一起开始performance_schema系统的学习之旅吧。
在Impala 4.0源码解析之BROADCAST/SHUFFLE代价计算这篇文章中我们提到，Impala在对BROADCAST/SHUFFLE进行代价计算的时候，需要用到表的统计信息。关于Impala的统计信息，网上也有一些资料介绍，但是大多不全。本文将结合官方文档，从内容、计算等各方面尽可能详细地介绍下Impala统计信息的相关知识。
随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet等，本文主要从实现的角度上对比分析ORC和Parquet两种典型的列存格式，并对它们做了相应的对比测试。
out_increment表示当前列为自动增长列，由DBMS分配该列的值，可以保证不重复
值列表中需要为表的每一个字段指定值，并且值的顺序必须和数据表中字段定义时的顺序相同。
1）当使用组函数的select语句中没有group by子句时，中间结果集中的所有行自动形成一组，然后计算组函数；
ORC的全称是(Optimized Row Columnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内进行按列存储。ORC文件是自描述的，它的元数据使用Protocol Buffers序列化，并且文件中的数据尽可能的压缩以降低存储空间的消耗，目前也被Spark SQL、Presto等查询引擎支持，但是Impala对于ORC目前没有支持，仍然使用Parquet作为主要的列式存储格式。2015年ORC项目被Apache项目基金会提升为Apache顶级项目。ORC具有以下一些优势:
Mysql 5.5版本之前,当我们对数据库索引进行添加或删除这类DDL操作，Mysql数据库的操作过程为:
https://mp.weixin.qq.com/s/1MsyxhtG6Zk3Q9gIV2QVbA
Hive优化器是使用Apache Calcite动态数据管理框架实现的，其中包含VolcanoPlanner基于成本优化器（CBO）和HelpPlaner基于规则的启发式优化器（RBO）优化器。根据用户HiveConf配置信息使用不同的优化器。
其实，对于MyISAM引擎的表是没有区别的。这种引擎内部有一计数器在维护着行数。Innodb引擎的表用count(*),count(1)直接读行数，复杂度是O(n)，因为innodb真的要去数一遍。但好于具体的count(列名)。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
