首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    数据库笔记

    慢查询 处理步骤 判断慢查询产生(CPU负载、IO读写、执行时间) 打开慢查询日志或使用分析工具(mysqldumpslow等) 选择方式 性能 应用程序优化 减少数据库连接次数,空间换时间 拆分复杂语句...> MOT IN NOT LIKE)和%开头的like(前导模糊查询)–会导致全表扫描 避免大表使用JOIN查询和子查询–会产生临时表,消耗较多CPU和内存,影响数据库性能 确定只有一条记录返回,可以加上...类型转换等会导致无法命中索引 表结构优化 字段类型优化,使用合适的类型(字段长度,避免 text,使用 not null) 合理使用索引,去除无用索引 读写分离和分库分表 避免使用触发器,存储过程、外键等 硬件和数据库配置优化

    81421

    Greenplum数据库快速

    Greenplum数据库快速 目录 Greenplum数据库快速 1 目录 1 第一节 集群规划中影响性能的原因 2 1、 架构设计 2 2、服务器配置 3 3、Segment 实例数量...3 第二节 数据库性能优化内容 4 1、内存管理 4 2、资源队列的内存管理 4 3、 资源队列 5 4、资源组 5 5、资源组与资源队列的区别 6 6、表储存 6 7、储存模式及对比 7 8、数据加载...’::regclass); 5、膨胀处理 1)、HEAP 表 - vacuum vacuum 回收不了超过空闲映射空间的过期时 - vacuum 不能回收时,用一下方法: vacuum full 参数...2、数据库运行慢 1、问题案例 数据正常使用时,突然性能慢,用户体验很卡,正常的简单查询耗时长 2、原因分析 1)、内存不足,使用swap交换空间 2)、CPU负载高 3)、磁盘IO繁忙 3、快速定位...根据节点服务器占用系统资源最大的进程,回溯查询到数据库进程 3、两段事务锁 1、问题案例 1)、执行删除表命令时,一直在执行中,链接数据库查询并没有锁 2)、永久不处理后,wal文件堆积 drop table

    2.7K51

    SQL之性能

    遵循这一规则,所有的数据库系统都会将如下的表达式: 5 = column1 转换成: column1 = 5 但是当查询条件中包含算术表达式时,只有部分的数据库系统进行转换。 例如: ......针对专门操作符的 前面,讲的是关于查询条件的一般规则,在这一节中,将讨论如何使用专门的操作符来改进 SQL 代码的性能。...这样做的话,如果第一个表达式为假的话,那么数据库系统就不必再费力去解析第二个表达式了。例如,可以这样转换: ......以上是作者对如何提高 SQL 性能的一些总结,这些规则并一定在所有的数据库系统上都能带来性能的提高,但是它们一定不会对数据库的性能带来下降,所以掌握并使用这些规则可以对数据库 应用程序的开发有所帮助。...本文总结的是一些 SQL 性能的比较初级的方面,SQL 还包括 Order by,Group by 以及 Index 等等。

    1.8K30

    【Spark篇】---Spark之代码,数据本地化,内存,SparkShuffle,Executor的堆外内存

    一、前述 Spark中大致分为以下几种 ,代码,数据本地化,内存,SparkShuffle,调节Executor的堆外内存。...二、具体    1、代码 1、避免创建重复的RDD,尽量使用同一个RDD 2、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略?...通过日志或者WEBUI 3、内存 ?...Spark  JVM主要是降低gc时间,可以修改Executor内存的比例参数。 RDD缓存、task定义运行的算子函数,可能会创建很多对象,这样会占用大量的堆内存。...比如在存数据的时候我们使用了foreach来将数据写入到内存,每条数据都会封装到一个对象中存入数据库中,那么有多少条数据就会在JVM中创建多少个对象。 Spark中如何内存

    1.2K30

    Spark 性能之Shuffle

    因此,如果要让作业的性能更上一层楼,就有必要对 shuffle 过程进行。...但是也必须提醒大家的是,影响一个 Spark 作业性能的因素,主要还是代码开发、资源参数以及数据倾斜,shuffle 只能在整个 Spark 的性能中占到一小部分而已。...因此大家务必把握住的基本原则,千万不要舍本逐末。下面我们就给大家详细讲解 shuffle 的原理,以及相关参数的说明,同时给出各个参数的建议。 2....5. shuffle相关参数 以下是Shffule过程中的一些主要参数,这里详细讲解了各个参数的功能、默认值以及基于实践经验给出的建议。...建议:在资源参数中讲解过这个参数。如果内存充足,而且很少使用持久化操作,建议调高这个比例,给 shuffle read 的聚合操作更多内存,以避免由于内存不足导致聚合过程中频繁读写磁盘。

    1.3K30

    Spark 性能之开发

    Spark的性能实际上是由很多部分组成的,不是调节几个参数就可以立竿见影提升作业性能的。...整套方案主要分为开发、资源、数据倾斜、shuffle几个部分。...开发和资源是所有Spark作业都需要注意和遵循的一些基本原则,是高性能Spark作业的基础;数据倾斜,主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案;shuffle,面向的是对...Spark的原理有较深层次掌握和研究的同学,主要讲解了如何对Spark作业的shuffle运行过程以及细节进行。...本文作为Spark性能优化指南的基础篇,主要讲解开发。 2. 开发 2.1 概述 Spark性能优化的第一步,就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。

    96531

    Spark 性能之资源

    整套方案主要分为开发、资源、数据倾斜、shuffle几个部分。...开发和资源是所有Spark作业都需要注意和遵循的一些基本原则,是高性能Spark作业的基础;数据倾斜,主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案;shuffle,面向的是对...本文作为Spark性能优化指南的基础篇,主要讲解资源。 2. 资源 2.1 概述 在开发完Spark作业之后,就该为作业配置合适的资源了。...理解作业基本原理,是我们进行资源参数的基本前提。 2.3 资源参数 了解完了Spark作业运行的基本原理之后,对资源相关的参数就容易理解了。...参数建议:Executor的CPU core数量设置为2-4个较为合适。

    1.6K30

    Spark性能06-JVM

    Spark 和 JVM 的关系 再JVM虚拟机中,当创建的对象的数量很多时,Eden 和 Survior1 区域会很快的满溢,就需要进行频繁地 Minor GC,这样会导致有一些生命周期较短的对象迅速长到...Spark的JVM spark.storage.memoryFraction 参数说明: 该参数用于设置RDD持久化数据在Executor内存中能占的比例,默认是0.6。...根据你选择的不同的持久化策略,如果内存不够时,可能数据就不会持久化,或者数据会写入磁盘 参数建议: 如果Spark作业中,有较多的RDD持久化操作,该参数的值可以适当提高一些,保证持久化的数据能够容纳在内存中...此外,如果发现作业由于频繁的gc导致运行缓慢,意味着task执行用户代码的内存不够用,那么同样建议调低这个参数的值 资源参数的,没有一个固定的值,需要根据自己的实际情况(包括Spark作业中的shuffle...操作数量、RDD持久化操作数量以及spark web ui中显示的作业gc情况)来灵活的 4.

    1.4K10

    JVM

    前言 JVM是作为每一位Java程序员必备的技能。我们平时打代码一般很少接触到,只有真正部署过线上项目,并且遇到相应的非代码逻辑导致的问题时。...为了更好地使用计算机的资源,我们有必要学习一下JVM。 重要参数 例如:-Xms512m -Xmx512m -Xss1024K 这几个参数涉及配置JVM的,你都懂了?...如何 观察内存释放情况、集合类检查、对象树 上面这些工具都提供了强大的功能,但是总的来说一般分为以下几类功能 堆信息查看 查看堆信息,我们一般可以顺利解决以下问题:--年老代年轻代大小划分是否合理...方法 一切都是为了这一步,,在之前,我们需要记住下面的原则:1、多数的Java应用不需要在服务器上进行GC优化;2、多数导致GC问题的Java应用,都不是因为我们参数设置错误,而是代码问题;...真正熟练的使用GC,是建立在多次进行GC监控和的实战经验上的,进行监控和的一般步骤为: 1,监控GC的状态 使用各种JVM工具,查看当前日志,分析当前JVM参数设置,并且分析当前堆内存快照和

    1.6K20
    领券