在Oracle 11g中，已经添加APPROX_COUNT_DISTINCT函数，但相关文档中没有体现，用于提高使用DBMS_STATS包收集统计信息时计算不同值（NDV）数量的速度。...Oracle数据库12c（12.1.0.2）中，文档中已经包含了此函数，因此我们可以在应用程序中将其作为支持的SQL函数使用。...SQL> 此查询为我们提供了基于Oracle的读一致性模型的不同值的确切计数。 因此，我们可以看到所有提交的数据，以及当前会话提交的任何未提交的更改。...相比之下，新的APPROX_COUNT_DISTINCT函数不提供准确的结果，但应该给出“可以忽略不计的精确结果”。...Elapsed: 00:00:02.00 SQL> 实际上，APPROX_COUNT_DISTINCT函数旨在处理比这更大的工作负载，因此我们可以创建一个更大的表来测试。
昨天和朋友交流，联想起Oracle的两个特性，approx_count_distinct 和 SQL in Silicon，从软件到硬件，从典型SQL入手的优化，Oracle一步一步走向细节和性能的极致...在Oracle 12c中，有一个新的函数被引入进来 - approx_count_distinct 。这个函数的作用是，当我们进行Count Distinct计算时，给出一个近似值。...TOM说，这个函数会带来5x ~ 50x的性能提升，精度可以达到97%以上。在不需要绝对精确的返回值时，这个函数可以发挥其显著的功效。 ?...这个估算值不绝对精确，但是在很多情况下足够，又可以极大的节省资源。在很多系统中，COUNT DISTINCT是个常见的操作，如果使用这个函数，则可能带来很好的性能改善。...这让我联想到Oracle的M7处理器，其中的Software / SQL IN Silicon，Oracle进一步将那些常见的COUNT取值SQL固化进了CPU，进一步为用户带来10几倍的性能提升。
在 2017 Oracle OpenWorld大会上，关于 Oracle 18c 的一系列新特性已经被披露出来，借助分散在各个会场的公开分享主题和内容、OOW提供的PPT下载，我们和大家抢鲜分享一下 18c...并且由于外部表的数据基本处于静态，更适合使用In-Memory来处理，Oracle声称这一改进将会带来100倍的提升，接下来就要看我们如何将外部表用的更好了。 ?...5.近似查询 - Approximate Query 和 Top-N 近似聚合 这是Oracle 12c 的新特性，经过12.2 的增强，已经非常好用了，可以参考我之前的一篇文章：从Approx_Count_Distinct...而新增的Top-N近似聚合，则可以对类似如下问题进行近似聚合，比如： 上一周，Top 5的Blog文章阅读量； 每个区域Top 50客户的近似消费； Oracle能够以小于 0.5% 的误差率，提供近似聚合...9.基于NVRAM的多级缓存增强 Andrew在多次演讲中提到，Oracle基于NVRAM做了很多研发，现在新特性已经披露，在数据库中NVRAM又被作为一级高性能缓存用于加速数据库，这是非常强大的软硬结合优化
题目部分 在Oracle中，如何监控数据库中的非常耗费性能SQL语句？...答案部分 在前边的触发器章节中介绍了如何利用系统触发器监控用户的登陆登出问题，并且可以记录所有的数据库DDL语句，这对数据库的安全审计是非常有帮助的。...接下来介绍一下如何利用SQL的实时监控特性来监控数据库中的非常耗费性能SQL语句。 由于V$SQL_MONITOR和V$SQL_PLAN_MONITOR收集的信息每秒刷新一次，接近实时。...至于消耗小于5秒的CPU或I/O时间的SQL语句一般都是非常高效的，所以不用监控。 考虑到定时任务对Oracle数据库性能的影响，所以，可以通过Oracle的轻量级JOB来实现的。...Oracle的JOB分为一般性的JOB和轻量级的JOB（Lightweight Jobs）。使用轻量级的JOB可以提高JOB的性能。因为轻量级JOB适合于在短时间内执行非常频繁的JOB。
： sqlNode.toSqlString(PrestoSqlDialect.DEFAULT); APPROX_COUNT_DISTINCT转APPROX_DISTINCT 除此之外，Calcite还提供了从...APPROX_COUNT_DISTINCT到APPROX_DISTINCT的转换。...函数调用栈与上面一样，最终在PrestoSqlDialect的unparseCall方法中，判断是否为APPROX_COUNT_DISTINCT函数，如果是的话，则替换为APPROX_DISTINCT，...，没办法通过toSqlString方法实现对APPROX_COUNT_DISTINCT的方言转换。...中；而SqlDialect的unparseCall方法，则提供了一些额外的处理逻辑，可以将SqlNode转换为一些其他的方言格式，例如函数名变更、类型名称变更等，然后同样append到SqlWriter
今天小麦苗给大家分享的是Oracle中如何导出存储过程、函数、包和触发器的定义语句？如何导出表的结构？如何导出索引的创建语句？。 Oracle中如何导出存储过程、函数、包和触发器的定义语句？...如何导出表的结构？如何导出索引的创建语句？...---- 总体来说有两种方式来获取，第一，利用系统包DBMS_METADATA包中的GET_DDL函数来获取，第二，利用exp或expdp来获取。...下面来看第一种方式，如何利用系统包DBMS_METADATA包中的GET_DDL函数来获取对象的定义语句。...数据泵工具（impdp）提供了SQLFILE的命令行选项，只获取DDL语句，并未真正地执行数据导入。
(countDistinct("deptno")).show() 1.4 approx_count_distinct 通常在使用大型数据集时，你可能关注的只是近似值而不是准确值，这时可以使用 approx_count_distinct...empDF.select(approx_count_distinct ("ename",0.1)).show() 1.5 first & last 获取 DataFrame 中指定列的第一个值或者最后一个值...empDF.select(avg("sal")).show() 1.9 数学函数 Spark SQL 中还支持多种数学聚合函数，用于通常的数学计算，以下是一些常用的例子： // 1.计算总体方差、均方差...Scala 提供了两种自定义聚合函数的方法，分别如下： 有类型的自定义聚合函数，主要适用于 DataSet； 无类型的自定义聚合函数，主要适用于 DataFrame。...// 4.用于聚合操作的的初始零值 override def zero: SumAndCount = SumAndCount(0, 0) // 5.同一分区中的 reduce
♣ 题目部分 在Oracle中，如何从执行计划初步判断SQL的性能问题？...RANGE ALL l 注意MERGE JOIN CARTESIAN l 注意REMOTE分布式查询 l 注意动态采样 l 是否使用了某种固定执行计划的策略 详情可以从下表所示的几个方面去考虑： ?...此外，还有一些其它需要注意的地方，例如COST花费特别大的步骤、全表扫描的步骤、FILTER的操作等等，都是需要特别关注的地方，这里就不详细列举了，总之，看执行计划和看AWR报告一样，需要具有一双敏锐的鹰眼...，最主要的是找出SQL的性能瓶颈。...本文选自《Oracle程序员面试笔试宝典》，作者：李华荣。
本文，我们将介绍 spark-alchemy这个开源库中的 HyperLogLog 这一个高级功能，并且探讨它是如何解决大数据中数据聚合的问题。首先，我们先讨论一下这其中面临的挑战。...在 Spark 中使用近似计算，只需要将 COUNT(DISTINCT x) 替换为 approx_count_distinct(x [, rsd])，其中额外的参数 rsd 表示最大允许的偏差率，默认值为...Databricks 给出的 HLL 性能分析表明，只要最大偏差率大于等于 1%，Spark 的 distinct count 近似计算的运行速度比精确计算高2～8倍。...Spark-Alchemy 简介：HLL Native 函数 由于 Spark 没有提供相应功能，Swoop开源了高性能的 HLL native 函数工具包，作为 spark-alchemy项目的一部分...，本文阐述了预聚合这个常用技术手段如何通过 HyperLogLog 数据结构应用到 distinct count 操作，这不仅带来了上千倍的性能提升，也能够打通 Apache Spark、RDBM 甚至
题目 Oracle中如何导出存储过程、函数、包和触发器的定义语句？如何导出表的结构？如何导出索引的创建语句？...答案 总体来说有两种方式来获取，第一，利用系统包DBMS_METADATA包中的GET_DDL函数来获取，第二，利用exp或expdp来获取。...下面来看第一种方式，如何利用系统包DBMS_METADATA包中的GET_DDL函数来获取对象的定义语句。...等参数），那么可以使用DBMS_METADATA包中的函数SET_TRANSFORM_PARAM(DBMS_METADATA.SESSION_TRANSFORM,'STORAGE',FALSE)来完成，...数据泵工具（impdp）提供了SQLFILE的命令行选项，只获取DDL语句，并未真正地执行数据导入。
在本周“云和恩墨大讲堂”的培训分享中，我回顾了自己的一些观点和看法，在此分享给大家。 ?...我来稍微解释一下这些观点： 基础重于一切 在学习的过程中，Oracle核心技术的基本知识必须了解，在普遍的概念和功能点上不能留下死角，比如Oracle的LGWR原理，Redo/Undo机制，以及由此而来的各种功能...了解Oracle数据库的核心功能与原理，在应对需求和提供服务时才能做到全面公正，这在起步阶段很重要。...我愿意将我在《Oracle数据库性能优化》一书的序言中提到的一段话再次引用一下： 兴趣 + 勤奋 + 坚持 + 方法 ≈ 成功 很遗憾我不能给以上公式画上"="，但是无关紧要，只要具备了以上因素，我想我们每个人都会离成功不远了...近期文章分享 【往期文章】 DBA入门之路：关于日常工作的建议 三十八载，Oracle伴我同行—记我的职业成长之路 从Approx_Count_Distinct到M7的CPU集成 诊断工具与方法：从OS
前一段就有朋友向我咨询这样的问题，就 Oracle存储大对象（LOB）的能力、性能和成功案例，我咨询了 Oracle ，提供了一个成功案例在此分享给大家。...SecureFiles 是 Oracle Database 11g 的一个新特性，旨在为文件或非结构化数据提供与文件系统媲美的高性能,同时保留 Oracle 数据库 的优势。...可以说SecureFiles 集外部文件与数据库 LOB 方法的优点于一身，可以存储非结构化数据，允许加密、压缩、重复消除等。 下图是Oracle官方文档上给出的性能对比数据： ?...而且，在12c版本中，SecureFiles的压缩等功能获得大幅度的增强，大对象的存储，去重、压缩将更加节省用户的存储资源。 ?...三十八载，Oracle伴我同行—记我的成长之路 从Approx_Count_Distinct到M7的CPU集成 诊断工具与方法：从OS到数据库 Cloud时代DBA的DevOps最佳实践 - SQL
在 MySQL 中，COUNT 函数是一个非常常用的聚合函数，它用于计算某列或某表达式在查询结果中出现的次数。...但是，在实际使用过程中，我们可能会遇到不同的 COUNT 函数写法，比如 COUNT(*)、COUNT(主键id)、COUNT(字段) 和 COUNT(1)，这些写法在效率上有何差别呢？...那么，这两种写法的效率如何呢？实际上，在大多数情况下，这两种写法的性能基本相同，因为 MySQL 对它们进行了相同的优化。...这是因为 COUNT(1) 是常量，在大多数情况下都不需要执行计算和类型转换，但是在某些数据库（例如 Oracle）中，COUNT(字段) 的运行会比 COUNT(1) 更快，因为这个字段已经处于缓存状态...在一些数据库中，COUNT(字段) 可能比 COUNT(1) 更快。因此，在实际应用中，我们可以根据具体的情况来选择不同的写法，从而获得更好的查询性能。
今天上午在恩墨学院进行了一个简短的分享，引用了多年前我的一页PPT，其中记录了我对DBA日常工作的建议。...这对于数据库的日常维护是非常重要的，关注重点，从细微变化中察知系统改变，这对于DBA来说是一项重要的素质要求。...而对于Stat和Wait信息，数据库中核心的、常见的指标并不多，作为DBA，可以从你能够列出的常见的10个统计数据、等待事件入手，针对性的进行深入、全面的学习，经过一段时间之后，必然有很多收获； 全面深入的了解应用架构...DBA会特别有帮助，通过关注SQL，进一步了解业务逻辑，通过优化SQL，进一步改善性能，这些都会非常有助于DBA能力的提升； 对于哪些刚刚开始DBA生涯的朋友们，可以借鉴这一条的建议； 撰写系统架构、现状...近期文章分享 【往期文章】 从Approx_Count_Distinct到M7的CPU集成 诊断工具与方法：从OS到数据库 Cloud时代DBA的DevOps最佳实践 - SQL 审核 Oracle Database
有很多DBA朋友在入门时总觉得不得路径，长久的徘徊于门外，而过来人的经验又往往高屋建瓴难以落地，两者总觉得难以对接起来，如何才能解决这个问题呢？...SYS_EXPORT_FULL_01" 已于 09:41:33 成功完成 进一步的确认： 通过MOS官网进一步的确认问题，是Oracle DBA的必要技能。...问题源自：DBMS_DATAPUMP.GET_STAUS 的调用。在以下的MOS回复中，可以看到，执行EXPDP的工作是通过DBMS_DATAPUMP包进行的，其中GET_STAUS用于状态获取。...近期文章分享 【往期文章】 Oracle 12c ASM 防火防盗新特性揭秘 DBA入门之路：学习与进阶之经验谈 DBA入门之路：关于日常工作的建议 三十八载，Oracle伴我同行—记我的成长之路 从Approx_Count_Distinct...整合业界顶尖的技术与合作伙伴资源，围绕数据及相关领域，提供解决方案和专业服务。
在面对重要操作时的小心谨慎，反复确认；在可能损坏数据操作时心怀警惕，确认无误；唯有充分重视这份数据工作，才能在实践中履险如夷，达成使命。...比如误删除操作这样的事故，直至今天，在很多用户环境中仍然屡见不鲜。 上周在微信大讲堂中还有人提问：是否可以用update user$的方式更改Oracle数据中的用户名？...近期文章 新年贺礼：云和恩墨大讲堂期刊发行 2015 Oracle 十大热门文章精选 Oracle 12c ASM 防火防盗新特性揭秘 DBA入门之路：学习与进阶之经验谈 DBA入门之路：关于日常工作的建议...三十八载，Oracle伴我同行—记我的成长之路 从Approx_Count_Distinct到M7的CPU集成 诊断工具与方法：从OS到数据库 Cloud时代DBA的DevOps最佳实践 - SQL...整合业界顶尖的技术与合作伙伴资源，围绕数据及相关领域，提供解决方案和专业服务。
如何选择用哪种类型的分区表？ 答案部分 当表中的数据量不断增大时，查询数据的速度就会变慢，应用程序的性能就会下降，这时就应该考虑对表进行分区。...Oracle可以将大表或索引分成若干个更小、更方便管理的部分，每一部分称为一个分区，这样的表称为分区表。SQL语句使用分区表比全表能提供更好的数据处理与访问的性能。...⑥ 分区对用户透明，最终用户感觉不到分区的存在。 有哪些类型的分区？如何选择用哪种类型的分区表？...在下面这种情况下，使用HASH分区比RANGE分区更好： （1） 事先不知道需要将多少数据映射到给定范围的时候。 （2） 分区的范围大小很难确定，或者很难平衡的时候。...ALL SELECT COUNT(*) FROM T_HASH PARTITION(SYS_P28); 在上面的例子中，不论是从EXTENT占用的空间数量，还是分区中的数据量，都可以看出，数据在各个分区上分布是非常均匀的
SQL解答 题目已经分析完了，那么如何用SQL来求解呢，为了便于描述，这里先给出最终的结果，然后描述一下这个SQL的思路如下： SQL> WITH T_NUM AS 2 (SELECT ROWNUM...在SELECT列表中分别列出A、B两个数值，以及两个数值之和（A+B）、两个数值之积（A*B），还通过分析函数计算所有可能性中两个数之和与当前两个数之和相等的组合的个数，以及所有可能性中两个数之积与当前两个数之积相等的组合的个数...除此之外，还列出了与当前记录中两个数之和相同的组合数；与当前记录中两个数之积相同的组合数，更关键的是这里进行了过滤，在第二层得到的MUL_M不等于1。...三十八载，Oracle伴我同行—记我的成长之路 从Approx_Count_Distinct到M7的CPU集成 诊断工具与方法：从OS到数据库 Cloud时代DBA的DevOps最佳实践 - SQL...整合业界顶尖的技术与合作伙伴资源，围绕数据及相关领域，提供解决方案和专业服务。
让观众从这些牌中随意选择一张，这张牌就是最后通过魔术需要找到的目标牌。让观众牢记后将其放回到其余20张牌中，然后任意洗牌。 下面开始进行发牌的工作，发牌和普通扑克的发牌规则一样。...最后，应该修改一下魔术中咒语：“你要相信数学你的牌是”。...近期文章 新年贺礼：云和恩墨大讲堂期刊发行 2015 Oracle 十大热门文章精选 Oracle 12c ASM 防火防盗新特性揭秘 DBA入门之路：学习与进阶之经验谈 DBA入门之路：关于日常工作的建议...三十八载，Oracle伴我同行—记我的成长之路 从Approx_Count_Distinct到M7的CPU集成 诊断工具与方法：从OS到数据库 Cloud时代DBA的DevOps最佳实践 - SQL...整合业界顶尖的技术与合作伙伴资源，围绕数据及相关领域，提供解决方案和专业服务。
增加数据检查函数checksum 在20c中，Oracle增加了CHECKSUM函数，用于检测数据的完整性。 解读 数据一致性要求，是对数据库的基本要求，但也是颇有难度的挑战。...算法的改进，例如提供bloom filter提升过滤效率；提供近似计算，在精度要求不高的情况下，提供更大的性能。 解读 关系模型，对于性能有其天然的短板。...这一点有些平台也是通过外部表方式支持，但其使用体验及顺滑度，较Oracle还是有所差距。 这方面是数据库的未来发展重点。在用户已经满足了基本的存储、计算能力后，如何更好地使用数据成为重点。...SQL增强 在19c中，SQL 功能获得了进一步的增强，这其中包括对于COUNT DISTINCT的进一步优化，在12c中引入的近似 Distinct操作已经可以为特定SQL带来极大性能提升，现在基于位图的...持久化内存存储支持 自Oracle 19c开始，Oracle就已经开始修改程序以更好的配合持久化内存，提升数据库性能。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
云直播
实时音视频
