最近在读韩国的Oracle ACE赵东郁（Dion Cho）的《高级OWI与Oracle性能调整》一书，书中介绍了Oracle等待事件以及调优相关内容，虽然是基于10g和以前版本写的，但其知识的深度和系统化程度，对最新12c版本依然有非常高的参考价值。 我将在以后的一系列文章中介绍阅读该书过程中的所知、所得并适当地结合最新版本内容进行延伸。
TDSQL PG版分布式关系型数据库，是一款同时面向在线事务交易和MPP实时数据分析的高性能HTAP数据库系统。面对应用业务产生的不定性数据爆炸需求，不管是高并发交易还是海量实时数据分析，TDSQL PG版都能够轻松处理。目前TDSQL PG版已经在金融、保险、通信、税务、政务等多个行业的核心交易系统上线运行。 TDSQL PG版介绍 1. TDSQL PG版介绍 自2008年诞生，TDSQL PG版已有13年的发展历史，产品全面兼容PostgreSQL，高度兼容Oracle语法，采用无共享架
RDD四种依赖关系，分别是 ShuffleDependency、PrunDependency、RangeDependency和OneToOneDependency四种依赖关系。如下图所示：org.apache.spark.Dependency有两个一级子类，分别是 ShuffleDependency 和 NarrowDependency。其中，NarrowDependency 是一个抽象类，它有三个实现类，分别是OneToOneDependency、RangeDependency和 PruneDependency。
引言 数据库构架设计中主要有 Shared Everthting、Shared Nothing 和 Shared Disk： Shared Everthting：一般是针对单个主机，完全透明共享 CPU/MEMORY/IO，并行处理能力是最差的，例如 Oracle 的单机模式。 Shared Disk：各个处理单元使用自己的私有 CPU和 Memory，共享磁盘系统。典型的代表 Oracle RAC， 它是数据共享，可通过增加节点来提高并行处理的能力，扩展能力较好。其类似于 SMP（对称多处理）模式，但是当
数据库构架设计中主要有 Shared Everthting、Shared Nothing 和 Shared Disk：
在 ACOUG 年会的活动上，分享了一些从前未曾分享过的内容，想起，今年还欠下一篇文章，就整理和回顾一下，分享我所见到的Oracle 19c的一些重要改变（本文内容来自OOW大会演讲，关注“数据和云”公众号回复：2018OOW 获取大会PPT）。
张大朋（Lunar）Oracle 工程师 Lunar 拥有超过十年的 ORACLE SUPPORT 从业经验，曾经服务于ORACLE ACS部门，现就职于 ORACLE Sales Consultant 部门，负责的产品主要是 Exadata，Golden Gate，Database 等。 2015年8月份内部release了Oracle 12.2 Beta版本（目前内部最新release的版本是2016年2月份发布的，windows和Linux都有了），目前根据12.2beta文档的介绍，Orac
游标（Cursor）是Oracle数据库中SQL解析和执行的载体，它可以分为共享游标（Shared Cursor）和会话游标（Session Cursor）。共享游标是指缓存在库缓存（Library Cache）里的一种库缓存对象，其实就是指缓存在库缓存里的SQL语句和匿名PL/SQL块所对应的库缓存对象。共享游标是Oracle缓存在库缓存中的几十种库缓存对象之一，它所对应的库缓存对象句柄的Namespace属性的值是CRSR（也就是Cursor的缩写）。共享游标会存储目标SQL的SQL文本、解析树、该SQL所涉及的对象定义、该SQL所使用的绑定变量类型和长度，以及该SQL的执行计划等信息。共享游标可以细分为父游标（Parent Cursor）和子游标（Child Cursor），可以通过视图V$SQLAREA来查看当前缓存在库缓存（Library Cache）中的父游标，而通过V$SQL来查看缓存在库缓存中的子游标。Oracle设计这种嵌套的Parent Cursor和Child Cursor并存的结构是为了能尽量减少对应的Hash Bucket中库缓存对象句柄链表的长度。
随着2月的春风吹拂，Oracle 19c 的第一个 Exadata 版本发布将马上发布出来，等待可测试版本的朋友们马上即可如愿了。
PostgreSQL支持继承，版本10之前的分区表都是通过继承特性来实现，每个分区实际上都是一个独立的表。数据更新可通过触发器trigger或者规则rule来实现。
原文链接 http://www.oracle.com/technetwork/database/bi-datawarehousing/twp-bp-for-stats-gather-12c-1967354.pdf 译者 杨禹航 何时收集统计信息 为了选择最佳执行计划，优化器必须可以获得有代表性的统计信息。有代表性的统计数据不必是最新的，而是一组能够帮助优化器确定执行计划中每个操作所能返回的行数。 自动统计信息收集任务 Oracle会在预定义维护窗口期间 (工作日10pm 到2am 和周末6am 到2am
RDD设计背景 RDD被设计用来减少IO出现的，提供了一中抽象的数据结构，不用担心的底层数据的分布式特性。只需将具体的应用逻辑将一些列转换进行处理。不同的RDD之间的转换操作形成依实现管道话。从而避免中间结果落地的存储。降低数据复制，磁盘IO和序列化开销。 RDD是一个不可变的分布式对象集合。每个RDD会被分成多个分区，这些分区运行在集群的不同节点上。每个分区就是一个数据集片段。RDD提供的是一种高度受限的共享内存模型，既RDD是只读的记录分区的集合，不能直接修改，只能给予文档sing的物理存储中的数据来
李华 云和恩墨高级技术顾问 以下案例来自大讲堂的一次分享，从这个案例中我们可以了解“错误的SQL”可能对数据库产生的种种影响。如何找到这些错误的、解析失败的SQL呢？我们先把方法列举在这里： 通过关联 x$kglcursor x$kglcursor_child_sqlid 视图； 通过使用 Oracle 10035 Event 事件可以找到解析失败的SQL； 通过 oracle systemdump 也可以找到解析失败 SQL； 以下我们来看看这个精彩的案例分享。 背景介绍 客户的一套重要生产系统
编辑手记：在很多生产系统中，程序员经意不经意写下的一条SQL都可能带来性能上的巨大隐患，而DBA就要不断在这些问题中出生入死，这些不正确的SQL可能给我们带来哪些麻烦，如何识别和处理，本文将通过真实案例的分析深入解答。 作者介绍：李华 云和恩墨高级技术顾问 错误的SQL可能对数据库产生的种种影响。如何找到这些错误的、解析失败的SQL呢？我们先把方法列举在这里： 通过关联 x$kglcursor x$kglcursor_child_sqlid 视图； 通过使用 Oracle 10035 Event 事
我们VIP成员很多在2021年春节年前、后，拿到了offer。而且不止一个，有的两个，有的四个，有的六个。这里给我们分享其中一位成员，整理的一家公司的面试题，后续将会陆续发布。
Spark核心技术与高级应用 第4章 编程模型 不自见，故明；不自是，故彰；不自伐，故有功；不自矜，故能长。 ——《道德经》第二十二章 在面对自我的问题上，不自我表扬，反能显明；不自以为是，反能彰显；不自我夸耀，反能见功；不自我矜恃，反能长久。 与许多专有的大数据处理平台不同，基于Spark的大数据处理平台，建立在统一抽象的RDD之上，这是Spark这朵小火花让人着迷的地方，也是学习Spark编程模型的瓶颈所在，充满了很深的理论和工程背景。 本章重点讲解Spark编程模型的最主要抽象，第一个抽象是RDD（
本文介绍了Spark的四大特性：基于内存的迭代计算引擎、基于DAG的调度引擎、基于血缘的容错引擎、基于分区的存储引擎。同时，本文还介绍了Spark的作业执行流程、数据分区和文件格式、基于Shuffle的分布式计算、Spark的HA机制等。
编辑手记： In-Memory 是 Oracle 在 12.1.0.2 中引入的新特性，旨在加速分析型 SQL 的速度。传统的 OLTP 应用通过 buffer cache 修改数据，分析性的 SQL 从 IM 列式存储中扫描数据，避免物理读成为性能瓶颈。那么在12.2最新版本中，In-Memory有哪些增强特性呢？我们一起来学习。 注：文章内容来自官方文档翻译。若需要了解更多，请查阅官方文档。文中配图来自Oracle文档。 1、In-Memory Expressions（列式存储表达式） 内存中列存储允许
3.5 容错机制及依赖 一般而言，对于分布式系统，数据集的容错性通常有两种方式： 1）数据检查点（在Spark中对应Checkpoint机制）。 2）记录数据的更新（在Spark中对应Lineage血统机制）。 对于大数据分析而言，数据检查点操作成本较高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低，同时会消耗大量存储资源。 Spark选择记录更新的方式。但更新粒度过细时，记录更新成本也不低。因此，RDD只支持粗粒度转换，即只记录单个块上执行的单个操作，然后将创建RDD
每个具体的RDD都得实现compute 方法，该方法接受的参数之一是一个Partition 对象，目的是计算该分区中的数据。 我们通过map方法来看具体的实现：
随着表的不断增大，对于新纪录的增加、查找、删除等(DML)的维护也更加困难。对于数据库中的超大型表，可通过把它的数据分成若干个小表，从而简化数据库的管理活动。对于每一个简化后的小表，我们称为一个单个的分区。
一个HDFS文件的RDD将文件的每个文件块表示为一个分区，并且知道每个文件块的位置信息。这些对应着数据块的分区分布到集群的节点中，因此，分区的多少涉及对这个RDD进行并行计算的粒度。首先，分区是一个逻辑概念， 变换前后的新旧分区在物理上可能是同一块内存或者是存储。
游标是数据库领域较为复杂的一个概念，因为游标包含了shared cursor和session cursor。两者有其不同的概念，也有不同的表现形式。共享游标的概念易于与SQL语句中定义的游标相混淆。本文主要描述解析过程中的父游标，子游标以及共享游标，即shared cursor，同时给出了游标(session cursor)的生命周期以及游标的解析过程的描述。
1月11日，腾讯云TDSQL PG开源版（开源代号TBase）再升级：分布区表关联查询性能（join）提升超10倍，同时提升了产品在分布式场景下的易用性，增加灵活可用的功能组件。 该升级版本在第十一届PostgreSQL中国技术大会上正式公布，同时更新文档已同步在GitHub上。依托社区和内部业务系统的实践检验，TDSQL PG开源版基本保持每月一次小升级、每半年一次重大升级的节奏，助力众多开发者应用前沿数据库技术。 本期将为大家深度解读TDSQL PG开源版升级特性，具体包括：分区表功能增强、异地多活易
按照计划，本文来讲解RDD的依赖与分区器。这两者不仅与之后调度系统的细节（DAG、Shuffle等）息息相关，而且也是面试Spark系大数据研发工程师时经常被问到的基础问题（反正我是会问的），因此看官也可以将本文当做一篇面试知识点解析来看。
1、如果我们定义了主键(PRIMARY KEY)，那么InnoDB会选择主键作为聚集索引。
开发过程中我们会经常遇到一些复杂的页面，而这些页面大部分由一个个小部分组合起来的，而且不同页面中可能有些部分是一样的，所以我们通常会将这些部分封装成组件。在Vue中，我们可以使用components组件(模板)来实现。
文章概述：RDD的其他几个知识点，依赖关系（Dependencies）、检查点（Checkpoint）、存储级别（Storage Level）和迭代函数（Iterator）。
游标是数据库领域较为复杂的一个概念，因为游标包含了shared cursor和session cursor。两者有其不同的概念，也有不同的表现形式。 共享游标的概念易于与SQL语句中定义的游标相混淆。本文主要描述解析过程中的父游标，子游标以及共享游标，即shared cursor，同时给出了 游标(session cursor)的生命周期以及游标的解析过程的描述。
在Oracle中，每条SQL语句在正式执行之前都需要经过解析（Parse），根据解析的过程可以分为3种类型：硬解析（Hard Parse）、软解析（Soft Parse）和软软解析（Soft Soft Parse），软软解析也叫快速解析（Fast Parse）。DDL语句是从来不会共享使用的，也就是说DDL语句每次执行都需要进行硬解析。但是，DML语句和SELECT语句会根据情况选择是进行硬解析，还是进行软解析或者进行软软解析。SQL的解析过程大致可以参考下图：
说明：为什么不从vsql统计信息？这是因为即便相同的SQL，每次执行耗时也可能不一样，所以，考虑求平均值，所以需要对SQL分组统计，SQL_TEXT相同，大概率为同一条SQL，所以考虑从按SQL_TEXT分组统计的vsqlarea读取信息。当然，出于严谨的考虑，也可以不分组统计，把vsqlarea替换成vsql就好了。
第一，MapReduce模型的抽象层次低，大量的底层逻辑都需要开发者手工完成。 第二，只提供Map和Reduce两个操作。 举个例子，两个数据集的Join是很基本而且常用的功能，但是在MapReduce的世界中，需要对这两个数据集 做一次Map和Reduce才能得到结果。 第三，在Hadoop中，每一个Job的计算结果都会存储在HDFS文件存储系统中，所以每一步计算都要进行硬 盘的读取和写入，大大增加了系统的延迟。 第四，只支持批数据处理，欠缺对流数据处理的支持。
Oracle 数据库是一种功能强大的关系型数据库管理系统，但在处理大量数据时，性能问题可能会成为一个挑战。为了提高数据库的响应速度和效率，我们可以采取一系列的优化措施。本文将重点介绍表分区技术，以提升 Oracle 数据库的性能。
在组件开发迭代的过程中，随着使用时间的增加，数据库中的数据量也不断增加，因此数据库查询越来越慢。
首先我们从整个大数据生态的宏观层面概述一下数据的处理流程，主要涉及到七个层次，分别是数据源（产生数据的一方）、数据收集、数据存储、资源管理、计算框架、数据分析、可视化，如下图所示：
RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage（血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。
Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分Stage，而划分依据就是RDD之间的依赖关系。
刚做完一次网络切换支持，得空写一篇，其实今儿取了巧，这篇文章是之前写过的，碰巧又是这次“执行计划异常变更”案例涉及的一个知识点，所以再次翻出来。
并详细介绍了 SQL 调优 的关注点和常用方法，作为数据库规划、设计、开发及维护人员的技术参考资料。
coalesce算子，相当绕口的一个英文单词，来闭上眼睛回忆一下编程手册，咋说的来着？ coalesce(numPartitions)： Decrease the number of partitions in the RDD to numPartitions. Useful for running operations more efficiently after filtering down a large dataset. 翻译一下： 把一个RDD的分区数降低到指定的分区个数(即numPar
什么是组件： 组件的出现，就是为了拆分Vue实例的代码量的，能够让我们以不同的组件，来划分不同的功能模块，将来我们需要什么样的功能，就可以去调用对应的组件即可； 组件化和模块化的不同：
该处理器用于生成在表中执行分页查询的SQL 查询语句，分区(属性partition)大小以及表的行数决定页面的大小和数量以及生成的流文件。此外，可以通过设置最大值列来实现增量抓取数据，处理器会跟踪列的最大值，从而只抓取列值超过已记录到的最大值的行，该处理器只在主节点上运行，可以接受传入的连接;
–num-executors: 执行器个数,执行器数可以为节点个数，也可以为总核数(单节点核数*节点数),也可以是介于俩者之间(用于调优) –executor-cores: 执行器核数, 核数可以1，也可以为单节点的内核书，也可以是介于俩者之间(用于调优) –executor-memory: 执行器内存, 可以为最小内存数(单节点内存总数/单节点核数),也可以为最大内存数(单节点内存总数),也可以是介于俩者之间(用于调优)
场景描述：这是一个Spark的面试题合集。是我自己作为面试者和作为面试官都会被问到或者问到别人的问题，这个总结里面有大量参考了网上和书上各位老师、大佬的一些原文答案，只是希望可以给出更好的回答，一般上我都会把原文链接贴上，如有侵权请联系删除！
ini 是 Windows 上常用的配置文件格式。MySQL 的 Windows 版就是使用 ini 格式存储配置的。
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/134784.html原文链接：https://javaforall.cn
Oracle数据库里的直方图使用了一种称为Bucket（桶）的方式来描述目标列的数据分布。Bucket（桶）是一个逻辑上的概念，相当于分组，每个Bucket就是一组，每个Bucket里会存储一个或多个目标列中的数据。Oracle会用两个维度来描述一个Bucket，这两个维度分别是ENDPOINT_NUMBER和ENDPOINT_VALUE，Oracle会将每个Bucket的这两个维度记录在数据字典基表SYS.HISTGRM$中。列的直方图的类型可以通过查询视图DBA_TAB_COL_STATISTICS的HISTOGRAM列来获取，一般情况下包含3类，NONE（没有直方图）、FREQUENCY（频率直方图，也叫等频直方图）、HEIGHT BALANCED（高度平衡直方图，也叫等高直方图）。在Oracle 12c中，又新增了两种类型的直方图，分别是顶级频率直方图（Top Frequency Histogram）和混合直方图（Hybrid Histogram），本书只讨论频率和高度平衡直方图。
本文介绍了分布式数据集（RDD）的数学定义和原理，并详细讲解了 Apache Spark 的 RDD 实现。作者通过举例介绍了 RDD 的三种主要转换操作，并探讨了在 Spark 集群环境下，如何通过 RDD 进行分布式计算。最后，本文介绍了在 PySpark 中如何使用 RDD 进行分布式流处理。
如果这样理解的话，就会很矛盾，笛卡尔积的依赖中，一个父RDD的分区明明被多个子RDD的分区消费了，可它是窄依赖
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
