序言：优化器是Oracle数据库最引人入胜的部件之一，因为它对每一个SQL语句的处理都必不可少。优化器为每个SQL语句确定最有效的执行计划，这是基于给定的查询的结构，可用的关于底层对象的统计信息，以及所有与优化器和执行相关的特性。 本文来自Oracle 白皮书翻译（译者：苏旭辉 newkid），介绍了在Oracle数据库12c第二版中与优化器和统计信息相关的所有新特性并且提供了简单的，可再现的例子，使得你能够更容易地熟悉它们，尤其是当你从早先的版本进行迁移的时候。它还概括了已有的功能是如何被增强以改善性能
近期，腾讯云云原生数据库TDSQL-C再升级，自主研发并上线并行查询功能，计算性能大幅提升，在面对大数据量表单与复杂SQL语句时，查询时间大幅缩短，加速比最高可达1000%+。 并行查询功能是TDSQL-C当前版本在计算层实现的最为重要且复杂的能力，不仅需要对计算层进行改造，同时在优化器、参数设置、监控项等方面进行了适配，具备零成本性能提升、透明级流程监控、常用语句全面支持和灵活参数设置等功能优势。 让您的查询快起来 当前TDSQL-C MySQL版的并行查询能力支持 实例CPU数4核及以上且数据库版本为M
本篇是如何调优 Oracle SQL系列文章第六篇：查询优化器概念：关于自动调整优化器及自适应查询优化
作者：于乐，腾讯 CSIG 工程师 一、 方案描述 1.1 概述 在线教育是一种利用大数据、人工智能等新型互联网技术与传统教育行业相结合的新型教育方式。发展在线教育可以更好的构建网络化、数字化、个性化、终生化的教育体系，有利于构建“人人皆学、处处能学、实时可学”的学习型社会。 本文针对某知名在线教育平台在腾讯云流计算 Oceanus 的业务案例，介绍了其中可能存在的一些性能问题，并针对这种问题进行了参数调优相关的介绍。 1.2 方案架构 某知名在线教育平台在流计算 Oceanus 上主要有两个业务应用场景
建议：一些简单ETL任务，并且源数据流量在一定范围内， tm个数1、全局并行度1、内存1G。
所谓并行执行，是指能够将一个大型串行任务（任何DML，一般的DDL）物理的划分为叫多个小的部分，这些较小的部分可以同时得到处理。 何时使用并行执行: 1、必须有一个非常大的任务
近期接手了不少大数据表任务调度补数据的工作,补数时发现资源消耗异常的大且运行速度却不怎么给力.
在Oracle中，关键字NOLOGGING、APPEND和PARALLEL提高DML性能方面有什么差别？
下午的时候收到这么一条报警。 ZABBIX-监控系统: ------------------------------------ 报警内容: Too many parallel sessions on xxxxx_xx机房_xxxxx ------------------------------------ 报警级别: PROBLEM ------------------------------------ 监控项目: parallel_session_cnt：66 ------------------
在讨论Oracle的性能问题时，通常要假设一个前提，那就是这个系统是OLTP还是OLAP（或者说数据仓库系统）。 只有在这个前提下，讨论一些性能问题才有意义，因为这两类系统太不一样了，甚至很多技术是相悖的。
Spark 官方推荐，Task 数量应该设置为 Spark 作业总 CPU core 数量的 2~3 倍。
原创文章，转载请务必将下面这段话置于文章开头处。 本文转发自技术世界，原文链接 http://www.jasongj.com/spark/skew/ 摘要 本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map侧Join代替Reduce侧Join，给倾斜Key加上随机前缀等。 为何要处理数据倾斜（Data Skew） 什么是数据倾斜 对Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕，可怕的是数据
FreeWheel团队通过高效的敏捷开发赶在 2020 年圣诞广告季之前在生产环境顺利发布上线，整体性能提升高达 40%（对于大 batch）的数据，AWS Cost 平均节省 25%~30%之间，大约每年至少能为公司节省百万成本。
兄弟们，在 18w 字《Flink SQL 成神之路》之后，我的另一篇《Flink 对线面试官》申请出战！
云和恩墨旗下的DBASK小程序近期增加了数据库 MongoDB、Redis、 Elasticsearch、DB2、Weblogic 等新的的专题栏目和一些新的技术专家，另外，也新关联了技术闲谈、OB、架构文摘、51CTO技术栈等等数据领域的公众号，欢迎大家阅读分享。
可以对每个节点设置地理标签，主要用于解决多机房数据同步的问题。新增选项 group_replication_zone_id，用于标记节点地理标签。该选项值支持范围 0 ~ 8，默认值为0。当集群中各节点该选项值设置为不同的时候，就被认定为设置了不同的地理标签。在同城多机房部署方案中，同一个机房的节点可以设置相同的数值，另一个机房里的节点设置另一个不同的数值，这样在事务提交时会要求每组 group_replication_zone_id 中至少有个节点确认事务，然后才能继续处理下一个事务。这就可以确保每个机房的某个节点里，总有最新的事务。
在开发完Spark作业之后，就该为作业配置合适的资源了。 Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。
本文从数据倾斜的危害、现象、原因等方面，由浅入深阐述Spark数据倾斜及其解决方案。
如果在Task执行期间发生大量的Full GC，那么说明年轻代的Eden区域给的空间不够大，可以通过一下方式进行调优：
Spark3.0已经发布半年之久，这次大版本的升级主要是集中在性能优化和文档丰富上，其中46%的优化都集中在Spark SQL上，SQL优化里最引人注意的非Adaptive Query Execution莫属了。
作者 | 郑林松，朗新科技股份有限公司数据库技术专家，从业10多年，主要服务移动运营商客户，电力客户，证券客户，制造业客户。精通 Oracle 性能优化，故障诊断和处理，也擅长MySQL数据库优化和故障处理。主要负责朗新公司国家电网12个网省性能优化和故障处理工作以及南方电网性能优化和故障处理工作，主导过某证券公司冷热数据隔离和空间回收工作（总数据量100T），主持过某电网公司XTTS迁移工作；电网公司核心营销系统历史数据空间回收和高水位处理工作，合计回收空间15T。
之前的文章谈到的事故原因，不论是偶发性的查询压力，还是备份，对备库延迟的影响一般是分钟级的，而且在备库恢复正常以后都能够追上来。
在划分stage时，最后一个stage称为FinalStage，它本质上是一个ResultStage对象，前面的所有stage被称为ShuffleMapStage。
错误的并行度设置往往可能是由于在创建索引或者重建索引时开启并行度创建，后来忘记关闭导致！
相信作为 Spark 的粉丝或者平时工作与 Spark 相关的同学大多知道，Spark 3.0 在 2020 年 6 月官方重磅发布，并于 9 月发布稳定线上版本，这是 Spark 有史以来最大的一次 release，共包含了 3400 多个 patches，而且恰逢 Spark 发布的第十年，具有非常重大的意义。
其中主要划分为一下 4 大主题，首先是前两个 状态原理、时间窗口 是用于考核候选人对于 Flink 基本原理的理解，编程技巧、实战经验 主要是考核候选人使用 Flink 的经验。
在对RDD进行算子时，要避免相同的算子和计算逻辑之下对RDD进行重复的计算，如下图所示：
最近 Google 发表了一篇《F1 Query: Declarative Querying at Scale》的论文来详细阐述了一个叫做 F1 Query 的大数据处理系统的设计。F1 Query 是Google内部进行异构查询的引擎，它支持对各种不同的文件格式、各种不同的存储系统( Bigtable, Spanner, Google Spreadsheets ) 的数据进行联合查询。听起来跟 Presto 很像对吧，这确实也是我看到这篇论文介绍的第一反应，但是随着你看得更深入一点你就会发现这篇论文的着重点完全不在于对多数据源的支持，它甚至完全没有描述是怎么做到支持多种不同异构数据源的。F1 Query 更引以为傲的是:
关系型数据库严重依赖底层的硬件资源，CPU是服务器的大脑，当CPU开销很高时，内存和硬盘系统都会产生不必需要的压力。CPU的性能问题，直观来看，就是任务管理器中看到的CPU利用率始终处于100%，而侦测CPU压力的工具，最精确的就是性能监控器。
在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪种情况，都会导致Spark作业的运行效率低下，甚至根本无法运行。因此我们必须对Spark作业的资源使用原理有一个清晰的认识，并知道在Spark作业运行过程中，有哪些资源参数是可以设置的，以及如何设置合适的参数值。
普通的 map 算子对 RDD 中的每一个元素进行操作，而 mapPartitions 算子对 RDD 中每一个分区进行操作。
今天来给大家分享一下DBtime抖动的诊断案例。讲到的不足之处还希望大家多多指正，共同提高。案例会分下面几个方面来说。 首先来说问题的背景。因为使用的数据库环境多且复杂，数据库不只有Oracle,
相对于其他流计算框架，Flink 一个比较重要的特性就是其支持有状态计算。即你可以将中间的计算结果进行保存，并提供给后续的计算使用：
原作者：Bane Radulovic 译者： 吴 栋 审核： 魏兴华 DBGeeK社群联合出品 Rebalancing act 在ASM中，每一个文件的extent都均匀的分布在它所在磁盘组的所有磁盘上，无论是在文件第一次创建或是文件创建之后的重新resize都是如此，这也意味着我们始终能保持磁盘组中的每一个磁盘上都有一个平衡的空间分配。 Rebalance operation 虽然文件在新建或是resize过程中都能保证空间的均匀分配，但是磁盘组在某些情况下会自动触发重平衡的操作，例如添
Flink1.19版本更新了，我们按例对最新版本的Flink中的核心能力进行一下解读。
下面的答案都是博主收集小伙伴萌的答案 + 博主自己的理解进行的一个总结，博主认为是大家可以拿去细品的。
基础配置 spark.executor.memory 指定Executor memory,也就是Executor可用内存上限 spark.memory.offHeap.enabled 堆外内存启用开关 spark.memory.offHeap.size 指定堆外内存大小 spark.memory.fraction 堆内内存中，Spark缓存RDD和计算的比例 spark.memory.storageFraction Spark缓存RDD的内存占比，相应的执行内存比例为1 - spark.memory.st
很多同学喜欢使用lambda表达式，它允许你定义短小精悍的函数，体现你高超的编码水平。当然，这个功能在某些以代码行数来衡量工作量的公司来说，就比较吃亏一些。
关于并行的使用，我原来所在研发部门（Real-World Performance）的同事陈焕生已经写了3篇非常棒的“深入理解”系列，可以说并行的精华部分都已经涵盖。
通过12c的自动重新优化（Automatic Reoptimization 以后简称AR）功能， Oracle进一步的扩展和增强了11gR2版本的基数反馈（CFB）功能，来重新优化重复执行的SQL。
数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！
关于Oracle中的并行，可以说是一把双刃剑，用得好，可以充分利用系统资源，提升数据库的处理能力，用得不好，可能会适得其反。
最近公司的系统一点点的开始了拆分，从ORACLE 转移到 MYSQL 中，部分程序员的想法在使用MYSQL中还是没有转变过来，直接将ORALCE中的查询语句直接搬到了MYSQL。使用MYSQL 重要的两点，1 逻辑上移，数据库不在是承担你逻辑的第一选择，程序的比重将变得更重要 2 数据库容器化，数据库将变得不再那么重要，而是仅仅是承载数据的地方，或者甚至高级的设计，数据库将变得可有可无，这当然也的和业务挂钩，不是放之四海都OK。
如果并行度设置的不足，那么就会导致集群浪费。Spark自动会根据文件的大小，是否可分割等因素来设置map的数目(后面会详细讲解输入格式，同时详细讲解各种输入的map数的决定)。对于分布式reduce操作，例如groupbykey和reducebykey，默认它使用的是分区数最大的父RDD的分区数决定reduce的数目。你也可以通过设置spark.default.parallelism来改变默认值，建议值是每个CPU执行2-3个tasks。
今天，我们将介绍一系列新的博客文章，其中将介绍Apache Impala的最新增强功能，许多是性能改进，例如下面所述的功能，可以更高效地利用所有CPU内核，将性能提高2倍至7倍。此外还有大量的工作，确保Impala在存储计算分离的场景中能最优地运行，比如数据存储在对象存储或远程HDFS的场景。鉴于越来越多的用户正在运行容器化的Impala集群，例如Cloudera Data Warehouse（CDW）服务中提供的集群，这一点尤其重要。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
