文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

Hive Count Distinct优化

日常统计场景中，我们经常会对一段时期内的字段进行去重并统计数量，SQL语句类似于 SELECT COUNT( DISTINCT id ) FROM TABLE_NAME WHERE ...; 这条语句是从一个表的符合...这唯一的Reduce Task需要Shuffle大量的数据，并且进行排序聚合等处理，这使得它成为整个作业的IO和运算瓶颈。...原来Hive在处理COUNT这种全聚合(full aggregates)计算时，会忽略用户指定的Reduce Task数，而强制使用1。我们只能采用变通的方法来绕过这一限制。...改进后的SQL语句如下： SELECT COUNT(*) FROM ( SELECT DISTINCT id FROM TABLE_NAME WHERE … ) t; 在实际运行时，我们发现...从上述优化过程我们可以看出，一个简单的统计需求，如果不理解Hive和MapReduce的工作原理，它可能会比优化后的执行过程多四、五倍的时间。

3.7K31
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    MySQL中count(字段) ，count(主键 id) ，count(1)和count(*)的区别

    注：下面的讨论和结论是基于 InnoDB 引擎的。 首先要弄清楚 count() 的语义。...所以，count(*)、count(1)和count(主键 id) 都表示返回满足条件的结果集的总行数；而 count(字段），则表示返回满足条件的数据行里面，参数“字段”不为 NULL 的总个数。...注意：count(1)执行速度比count(主键 id)快的原因：从引擎返回 id 会涉及到解析数据行，以及拷贝字段值的操作。 count(*) MySQL 执行count(*)在优化器做了专门优化。...但是这种需要专门优化的情况太多了，而且 MySQL 已经优化过 count(*) 了，你直接使用这种语句就可以了。...性能对比结论 count(可空字段) count(非空字段) = count(主键 id) count(1) ≈ count(*)

    3.1K30

    MySQL中count(字段) ，count(主键 id) ，count(1)和count(*)的区别

    注：下面的讨论和结论是基于 InnoDB 引擎的。 首先要弄清楚 count() 的语义。...所以，count(*)、count(1)和count(主键 id) 都表示返回满足条件的结果集的总行数；而 count(字段），则表示返回满足条件的数据行里面，参数“字段”不为 NULL 的总个数。...注意：count(1)执行速度比count(主键 id)快的原因：从引擎返回 id 会涉及到解析数据行，以及拷贝字段值的操作。 count(*) MySQL 执行count(*)在优化器做了专门优化。...但是这种需要专门优化的情况太多了，而且 MySQL 已经优化过 count(*) 了，你直接使用这种语句就可以了。...性能对比结论 count(可空字段) count(非空字段) = count(主键 id) count(1) ≈ count(*) 发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn

    3.2K10

    count(distinct) 玩出了新花样

    介绍使用索引、临时表 + 文件排序实现 group by，以及单独介绍临时表的三篇文章中，多次以 count(distinct) 作为示例说明。...概述 如果 count(distinct) 不能使用索引去重，就需要使用临时表。临时表的存储引擎有三种选择：MEMORY、MyISAM、InnoDB。...8. sum(distinct)、avg(distinct) 不一样 sum(distinct)、avg(distinct) 也需要去重，但是和 count(distinct) 不一样的地方在于：sum...因此，对于 sum(distinct)、avg(distinct) 来说，只会选择使用红黑树去重，并且也不会创建一个空的 MEMORY 临时表，这两点和 count(distinct) 不一样。...第 8 小节，介绍了 sum(distinct)、avg(distinct) 只能用于整数、浮点数求和、求平均数，它们和 count(distinct) 不一样的地方在于：只会选择使用红黑树去重，不需要创建

    1.7K20

    MySQL中count(*)、count(主键id)、count(字段)和count(1)那种效率更高？

    但是，在实际使用过程中，我们可能会遇到不同的 COUNT 函数写法，比如 COUNT(*)、COUNT(主键id)、COUNT(字段) 和 COUNT(1)，这些写法在效率上有何差别呢？...但需要注意的是，只有在表没有 WHERE 子句和 GROUP BY 子句时，才能使用这种优化方式。...MySQL 会使用索引或全表扫描统计记录数，对于单表查询的情况，索引扫描通常比全表扫描要快一些。但是，如果在多表查询的情况下使用 COUNT(1) 或 COUNT(字段)，就需要注意它们的性能问题了。...综上所述，我们可以得出以下结论：当查询的表中不存在 WHERE 子句和 GROUP BY 子句时，COUNT(*) 可能比 COUNT(主键id) 稍微快一点。...在单表查询时，COUNT(1) 和 COUNT(字段) 的性能通常相同，因为它们使用的优化方案也相同。在多表查询时，COUNT(1) 通常比 COUNT(字段) 更快。

    1.9K30

    MySQL中count(*)、count(主键id)、count(字段)和count(1)那种效率更高？

    在select count(?) from t这样的查询语句里面，count(*)、count(主键id)、count(字段)和count(1)等不同用法的性能，有哪些差别。...所以，count(*)、count(主键id)和count(1) 都表示返回满足条件的结果集的总行数；而count(字段），则表示返回满足条件的数据行里面，参数“字段”不为NULL的总个数。...但是这种需要专门优化的情况太多了，而且MySQL已经优化过count(*)了，你直接使用这种用法就可以了。...所以结论是： 按照效率排序的话，count(字段)count(主键id)count(1)≈count(*)，所以我建议你，尽量使用count(*)。...InnoDB引擎支持事务，我们利用好事务的原子性和隔离性，就可以简化在业务开发时的逻辑。这也是InnoDB引擎备受青睐的原因之一。

    5.2K50

    MySQL中count(*)、count(主键id)、count(字段)和count(1)那种效率更高？「建议收藏」

    在select count(?) from t这样的查询语句里面，count(*)、count(主键id)、count(字段)和count(1)等不同用法的性能，有哪些差别。...所以，count(*)、count(主键id)和count(1) 都表示返回满足条件的结果集的总行数；而count(字段），则表示返回满足条件的数据行里面，参数“字段”不为NULL的总个数。...但是这种需要专门优化的情况太多了，而且MySQL已经优化过count(*)了，你直接使用这种用法就可以了。...所以结论是： 按照效率排序的话，count(字段)count(主键id)count(1)≈count(*)，所以我建议你，尽量使用count(*)。...InnoDB引擎支持事务，我们利用好事务的原子性和隔离性，就可以简化在业务开发时的逻辑。这也是InnoDB引擎备受青睐的原因之一。

    1.8K40

    Select count(*)、Count(1)、Count(0)的区别和执行效率比较

    结论 https://www.cnblogs.com/sueris/p/6650301.html 这里把上面实验的结果总结一下： count()和count(1)执行的效率是完全一样的。...count()的执行效率比count(col)高，因此可以用count()的时候就不要去用count(col)。...count(col)的执行效率比count(distinct col)高，不过这个结论的意义不大，这两种方法也是看需要去用。...在不加WHERE限制条件的情况下，COUNT()与COUNT(COL)基本可以认为是等价的； 但是在有WHERE限制条件的情况下，COUNT()会比COUNT(COL)快非常多； count(0)=...count(1)=count(*) count(指定的有效值)--执行计划都会转化为count(*) 如果指定的是列名，会判断是否有null，null不计算 当然，在建立优化count的索引之前一定要考虑新建立的索引会不会对别的查询有影响

    1.8K20

    count(*)、count(1)和count(column)区别以及执行效率高低比较

    【mysql】count(*)、count(1)和count(column)区别 小结： count(*) 对行的数目进行计算，包含NULL。...count(column) 对特定的列的值具有的行数进行计算，不包含NULL值。 count(1) 这个用法和count(*)的结果是一样的。...网上说的各有各的理，当表中存在索引和主键的时候（我还没接触过设计表时不设计主键的），三者效率差不多。...而我在《高性能MySQL》一书中看到这样一段话：当我们使用 count(*) 时，通配符 * 并不会像我们猜想的那样扩展成所有的列，实际上，它会忽略所有的列而直接统计所有的行数。... shop_order # 有主键：0.139s，无主键：0.285s select count(1) from shop_order # 有主键但不使用主键：0.383s （count(普通列)）

    3.1K40

    select count(*)、count(1)、count(主键列)和count(包含空值的列)有何区别？

    下班路上看见网上有人问一个问题： oracle 10g以后count(*)和count(非空列)性能方面有什么区别？...前三个均为表数据总量，第四个SQL结果是99999，仅包含非空记录数据量，说明若使用count(允许空值的列)，则统计的是非空记录的总数，空值记录不会统计，这可能和业务上的用意不同。...其实这无论id2是否包含空值，使用count(id2)均会使用全表扫描，因此即使语义上使用count(id2)和前三个SQL一致，这种执行计划的效率也是最低的，这张测试表的字段设置和数据量不很夸张，因此不很明显...总结： 11g下，通过实验结论，说明了count()、count(1)和count(主键索引字段)其实都是执行的count()，而且会选择索引的FFS扫描方式，count(包含空值的列)这种方式一方面会使用全表扫描...，另一方面不会统计空值，因此有可能和业务上的需求就会有冲突，因此使用count统计总量的时候，要根据实际业务需求，来选择合适的方法，避免语义不同。

    4.3K30
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

      领券