首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    数据库笔记

    慢查询 处理步骤 判断慢查询产生(CPU负载、IO读写、执行时间) 打开慢查询日志或使用分析工具(mysqldumpslow等) 选择方式 性能 应用程序优化 减少数据库连接次数,空间换时间 拆分复杂语句...> MOT IN NOT LIKE)和%开头的like(前导模糊查询)–会导致全表扫描 避免大表使用JOIN查询和子查询–会产生临时表,消耗较多CPU和内存,影响数据库性能 确定只有一条记录返回,可以加上...类型转换等会导致无法命中索引 表结构优化 字段类型优化,使用合适的类型(字段长度,避免 text,使用 not null) 合理使用索引,去除无用索引 读写分离和分库分表 避免使用触发器,存储过程、外键等 硬件和数据库配置优化

    81421

    Greenplum数据库快速

    Greenplum数据库快速 目录 Greenplum数据库快速 1 目录 1 第一节 集群规划中影响性能的原因 2 1、 架构设计 2 2、服务器配置 3 3、Segment 实例数量...3 第二节 数据库性能优化内容 4 1、内存管理 4 2、资源队列的内存管理 4 3、 资源队列 5 4、资源组 5 5、资源组与资源队列的区别 6 6、表储存 6 7、储存模式及对比 7 8、数据加载...’::regclass); 5、膨胀处理 1)、HEAP 表 - vacuum vacuum 回收不了超过空闲映射空间的过期时 - vacuum 不能回收时,用一下方法: vacuum full 参数...2、数据库运行慢 1、问题案例 数据正常使用时,突然性能慢,用户体验很卡,正常的简单查询耗时长 2、原因分析 1)、内存不足,使用swap交换空间 2)、CPU负载高 3)、磁盘IO繁忙 3、快速定位...根据节点服务器占用系统资源最大的进程,回溯查询到数据库进程 3、两段事务锁 1、问题案例 1)、执行删除表命令时,一直在执行中,链接数据库查询并没有锁 2)、永久不处理后,wal文件堆积 drop table

    2.7K51

    SQL之性能

    遵循这一规则,所有的数据库系统都会将如下的表达式: 5 = column1 转换成: column1 = 5 但是当查询条件中包含算术表达式时,只有部分的数据库系统进行转换。 例如: ......针对专门操作符的 前面,讲的是关于查询条件的一般规则,在这一节中,将讨论如何使用专门的操作符来改进 SQL 代码的性能。...这样做的话,如果第一个表达式为假的话,那么数据库系统就不必再费力去解析第二个表达式了。例如,可以这样转换: ......以上是作者对如何提高 SQL 性能的一些总结,这些规则并一定在所有的数据库系统上都能带来性能的提高,但是它们一定不会对数据库的性能带来下降,所以掌握并使用这些规则可以对数据库 应用程序的开发有所帮助。...本文总结的是一些 SQL 性能的比较初级的方面,SQL 还包括 Order by,Group by 以及 Index 等等。

    1.8K30

    【Spark篇】---Spark之代码,数据本地化,内存,SparkShuffle,Executor的堆外内存

    一、前述 Spark中大致分为以下几种 ,代码,数据本地化,内存,SparkShuffle,调节Executor的堆外内存。...二、具体    1、代码 1、避免创建重复的RDD,尽量使用同一个RDD 2、对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略?...通过日志或者WEBUI 3、内存 ?...Spark  JVM主要是降低gc时间,可以修改Executor内存的比例参数。 RDD缓存、task定义运行的算子函数,可能会创建很多对象,这样会占用大量的堆内存。...比如在存数据的时候我们使用了foreach来将数据写入到内存,每条数据都会封装到一个对象中存入数据库中,那么有多少条数据就会在JVM中创建多少个对象。 Spark中如何内存

    1.2K30

    Spark 性能之Shuffle

    因此,如果要让作业的性能更上一层楼,就有必要对 shuffle 过程进行。...但是也必须提醒大家的是,影响一个 Spark 作业性能的因素,主要还是代码开发、资源参数以及数据倾斜,shuffle 只能在整个 Spark 的性能中占到一小部分而已。...因此大家务必把握住的基本原则,千万不要舍本逐末。下面我们就给大家详细讲解 shuffle 的原理,以及相关参数的说明,同时给出各个参数的建议。 2....5. shuffle相关参数 以下是Shffule过程中的一些主要参数,这里详细讲解了各个参数的功能、默认值以及基于实践经验给出的建议。...建议:在资源参数中讲解过这个参数。如果内存充足,而且很少使用持久化操作,建议调高这个比例,给 shuffle read 的聚合操作更多内存,以避免由于内存不足导致聚合过程中频繁读写磁盘。

    1.3K30

    Spark 性能之开发

    Spark的性能实际上是由很多部分组成的,不是调节几个参数就可以立竿见影提升作业性能的。...整套方案主要分为开发、资源、数据倾斜、shuffle几个部分。...开发和资源是所有Spark作业都需要注意和遵循的一些基本原则,是高性能Spark作业的基础;数据倾斜,主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案;shuffle,面向的是对...Spark的原理有较深层次掌握和研究的同学,主要讲解了如何对Spark作业的shuffle运行过程以及细节进行。...本文作为Spark性能优化指南的基础篇,主要讲解开发。 2. 开发 2.1 概述 Spark性能优化的第一步,就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。

    96531

    Spark 性能之资源

    整套方案主要分为开发、资源、数据倾斜、shuffle几个部分。...开发和资源是所有Spark作业都需要注意和遵循的一些基本原则,是高性能Spark作业的基础;数据倾斜,主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案;shuffle,面向的是对...本文作为Spark性能优化指南的基础篇,主要讲解资源。 2. 资源 2.1 概述 在开发完Spark作业之后,就该为作业配置合适的资源了。...理解作业基本原理,是我们进行资源参数的基本前提。 2.3 资源参数 了解完了Spark作业运行的基本原理之后,对资源相关的参数就容易理解了。...参数建议:Executor的CPU core数量设置为2-4个较为合适。

    1.6K30

    Spark性能06-JVM

    Spark 和 JVM 的关系 再JVM虚拟机中,当创建的对象的数量很多时,Eden 和 Survior1 区域会很快的满溢,就需要进行频繁地 Minor GC,这样会导致有一些生命周期较短的对象迅速长到...Spark的JVM spark.storage.memoryFraction 参数说明: 该参数用于设置RDD持久化数据在Executor内存中能占的比例,默认是0.6。...根据你选择的不同的持久化策略,如果内存不够时,可能数据就不会持久化,或者数据会写入磁盘 参数建议: 如果Spark作业中,有较多的RDD持久化操作,该参数的值可以适当提高一些,保证持久化的数据能够容纳在内存中...此外,如果发现作业由于频繁的gc导致运行缓慢,意味着task执行用户代码的内存不够用,那么同样建议调低这个参数的值 资源参数的,没有一个固定的值,需要根据自己的实际情况(包括Spark作业中的shuffle...操作数量、RDD持久化操作数量以及spark web ui中显示的作业gc情况)来灵活的 4.

    1.4K10

    JVM 之 Eclipse 启动实战

    本文是我12年在学习《深入理解Java虚拟机:JVM高级特性与最佳实践》时,做的一个 JVM 简单调实战笔记,版本都有些过时,不过思路和过程还是可以分享给大家参考的。...Client VM (build 17.1-b03, mixed mode, sharing) Eclipse版本: Release 4.2.0 Last revised June 8th, 2012 前...分析及 升级JDK版本 获取免费的“性能提升”(这里暂时不做考虑)。 类加载和编译时间优化 类加载: 字节码验证优化。...1.5 -Dhelp.lucene.tokenizer=standard -Xverify:none -Xms512m -Xmx512m -Xmn170m -XX:PermSize=256m 第二次 后运行结果...总结 以上只是专门针对 Eclipse 的启动过程进行分析和,并未对 Eclipse 日常开发工作进行分析和。 参考资料 《深入理解Java虚拟机:JVM高级特性与最佳实践》

    56810

    Linux 性能之虚拟化

    写在前面 考试整理相关笔记 博文内容涉及Linux VM 常见管理操作以及部分配置 理解不足小伙伴帮忙指正 不必太纠结于当下,也不必太忧虑未来,当你经历过一些事情的时候,眼前的风景已经和从前不一样了...——村上春树 使用工具进行 可以直接使用 tuned 包里面的适用于虚拟化的参数,tuned 中对于虚拟化通过两个优化配置,一个适用虚拟机,一个适用虚拟机所在的宿主机。...┌──[root@liruilongs.github.io]-[~] └─$ 可以通过/sys/kerel/mm/ksm/目录下的参数,设置参数: ┌──[root@liruilongs.github.io...liruilongs.github.io]-[~] └─$cat /sys/kernel/mm/ksm/sleep_millisecs 30 ┌──[root@liruilongs.github.io]-[~] └─$ 虚拟磁盘配置...xml | grep driver 虚拟机磁盘 IO

    21510

    Redis 数据库详解及参数

    Redis 群集配置实例: 一、关系型数据库与非关系型数据库的区别: Redis数据库是一个非关系型数据库,和oracle、mysql、sql server等关系型数据库不是同一类型。...NoSQL数据库凭借着其非关系型、分布式、开源和横向扩展等优势,被认为是下一代数据库产品。 NoSQL可以解决关系型数据库产生的三高问题: 对数据库高并发读写需求。 对海量数据高效存储与访问需求。...对数据库高可扩展性与高可用性需求。 关系型数据库和非关系型数据库都有各自的特点与应用场景,两者精密结合将会给Web 2.0的数据库发展带来新的思路。...让关系型数据库关注在关系上,非关系型数据库关注在存储上。 ....key的数目 (integer) 5 多数据库常用的命令: Redis支持多数据库,Redis在没有任何改动的情况下默认包含16个数据库数据库名使用数字0--15来依次命名。

    72330

    jvm 命令_java jvm工具

    3类 **性能参数(Performance Options):**用于JVM的性能和内存分配控制,如初始化内存大小的设置; **行为参数(Behavioral Options):**用于改变JVM的基础行为...线上环境 web容器:Tomcat, startup.sh -> catalina.sh(卡特琳娜) 里设置JVM 参数 jsp + jinfo 查看某个java进程的参数,然后再调整设置 真实...tomcat/xxx/xx/heap.hprof 在排查的的时候 jmap -dump:format=b,file=heap.hprof 44808 一般dump下来的文件可以结合工具来分析 4常用工具...:k] Suspects [səˈspekts] 查找并分析内存泄漏的可能原因 Reports—>Leak Suspects—>Details Top Consumers 列出大对象 5实战分析...5.2程序监控 前提:java 应用程序必然是正常运行的。. 目的:减少GC 频率,减少Full GC 发现现象才去解决?

    95731
    领券