首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Pg数据库日常维护操作指南

本文主要用来记述pg数据库的相关操作和异常排查指南,继上一篇博客之后,异常的频繁更新,导致死亡元组指数级增长之后,空间占用也成倍增长,逻辑问题导致了数据库问题,但细想之下也发现,当pg在面对海量数据的更新删除之后...并不会影响到连接数,如果数据库的数量超过了autovacuum_max_workers那么当一个数据库清理完成之后,会立马清理未清理的数据库,这有点像线程池哈哈。...如果某个表太大占用了太多时间,导致其他表无无法清理,当其他数据库的工作者清理完之后,会来清理这个数据库的其他未清理的表,工作者会避免做重复的工作,已经被清理的表不会再次经理,对一个数据库所拥有的最大工作者数量并没有限制...select proname, pronargs, prosrc from pg_proc where proname='count'; 如上参考的是pg数据库count函数,意思类似,这查看函数的功能太友好了...总结 知道的越多不知道的越多,即使各种数据库直接都有相通的思想和不同的实现,关于pg数据库元祖分析和事务xid冻结,请持续关注我后续博客 引用 MySQL 中 count() 和 count(1) 有什么区别

39320

Greenplum使用pg_dump备份数据库

1 说明 2 备份数据 2.1 创建需要备份的数据库 2.2 执行备份数据库的命令 2.3 查看备份出来的数据格式 3 恢复备份数据 3.1 创建需要恢复的数据库 3.2...我们使用Greenplum自带的pg_dump命令实现逻辑备份功能,导出备份文件,再通过 psql 导入到Greenplum中,达到备份的效果。...2 备份数据 2.1 创建需要备份的数据库 创建dump1数据库,并在数据库中创建test1的schema,创建几张表并插入数据 2.2 执行备份数据库的命令 pg_dump -U username -...,可以使用 localhost port:本地数据库端口号 databasename:要备份的本地数据库名 filename:要生成的备份文件名称 实例: $ pg_dump -h 192.168.100.55...Owner: gpmon -- CREATE SCHEMA test1; ALTER SCHEMA test1 OWNER TO gpmon; SET search_path = public, pg_catalog

1.4K40

PG详解

为了解决这些问题,ceph引入了归置组的概念,即PG。 # PG概念 PG是一个逻辑概念,linux系统中可以直接看到对象,但是无法直接看到PG。...它在数据寻址时类似于数据库的索引:每个对象都会固定映射进一个PG中,所以当我们要寻找一个对象时,只需要先找到对象所属的PG,然后遍历这个PG就可以了,无需遍历所有对象。...PG是一种间址,PG的数量有限,记录PG跟OSD间的映射关系可行,而记录object到OSD之间的映射因为数量巨大而实际不可行或效率太低。...因为对象数无法事先知道,但是有了pg,先把对象映射到pg,然后只需计算pg到osd的映射就可以了,pg数是一定的,这样算法设计可能会简单一点。 # 原理 对象时如何映射进PG的?...Backfilling 当一个新的OSD加入到集群后,CRUSH会重新规划PG将其他OSD上的部分PG迁移到这个新增的PG上。

1.1K30

Greenplum使用pg_dump最备份数据库

我们使用Greenplum自带的pg_dump命令实现逻辑备份功能,导出备份文件,再通过 psql 导入到Greenplum中,达到备份的效果。...2 备份数据 2.1 创建需要备份的数据库 创建dump1数据库,并在数据库中创建test1的schema,创建几张表并插入数据 2.2 执行备份数据库的命令 pg_dump -U username -...h hostname -p port databasename -f filename 参数说明如下: username:本地数据库用户名 hostname:本地数据库主机名,如果是在本地数据库主机登录...,可以使用 localhost port:本地数据库端口号 databasename:要备份的本地数据库名 filename:要生成的备份文件名称 实例: $ pg_dump -h 192.168.100.55...Owner: gpmon -- CREATE SCHEMA test1; ALTER SCHEMA test1 OWNER TO gpmon; SET search_path = public, pg_catalog

1.5K50

如何杀掉pg数据库正在运行的sql

我们在生产环境可能经常遇到长sql,长sql对数据库的影响还是挺大的,不仅可能对主机资源消耗较大,还可能会阻塞其他sql的正常执行,所以对于长sql我们要尤其注意。...那么在postgresql数据库如果遇到了长sql告警我们应该怎么处理呢?我总结一下:一查二看三杀。 一查: 首先我们要定位到是哪条sql引起的告警。...登录pg数据库查看pg_stat_activity(pgxc架构使用pgxc_stat_activity)视图,通过query_start字段查看sql的开始运行时间,state字段表明了当前sql的状态...pg数据库杀掉某条sql有三种方法,也可以称为三板斧:cancel->terminate->kill ①使用pg_cancel_backend(pid)杀掉某条sql,这个是温柔的杀,向后台发送sigint...可能大家遇到过,使用pg_cancel_backend杀不掉的进程,但是其实pg_terminate_backend有时也无法杀掉某条sql,笔者在生产环境遇到过,这时我们可能会抓一下该连接的堆栈,然后我们可能想尽快杀掉该

3.6K20

PG备份恢复工具-pg_dumpbinary

postgresql weekly推荐了几款备份恢复工具,其中一个是pg_dumpbinary。 pg_dumpbinary 是一个用于转储PG数据库的工具,其中数据以二进制格式转储。...这种场景下,pg_dump会以输出格式导出数据,造成数据丢失。 3)任何其他使用二进制的场景会很有用。 如何您在这种情况下,pg_dumpbinary将通过二进制格式转储PG数据库来帮助您。...可以使用pg_restorebinary程序恢复备份。pg_dumpbinary创建一致的备份,数据库服务器需要支持同步快照,这是在PG9.2中引入的用于主服务器和10用于备服务器的功能。...pg_dumpbinary会拒绝dump小于这个最小版本的数据库。...pg_restorebinary 用于恢复使用pg_dumpbinary命令以二进制格式转储的PG数据库的工具。程序读取作为备份参数给出的目录,然后再-d选项中恢复数据库中的pre-data部分。

1.1K50

基于PG数据库插件的SQL规范审核工具

内容来源:2017 年 10 月 21 日,平安科技数据库架构师陈刚在“PostgreSQL 2017中国技术大会”进行《基于PG数据库插件的SQL规范审核工具》演讲分享。...阅读字数:6453 | 17分钟阅读 摘要 此议题的主题是PG数据库插件和SQL规范审核相关的内容。首先了解一下hook技术的基本原理。接下来将介绍一下SQL语句在PG数据库的分析解析和执行过程。...这个_PG_fini函数名也是约定好了的,在插件卸载的时候由数据库自动调用。 ?...可能大家都知道这个插件的作用,就是当使用用户名和密码连接PG数据库时,如果当用户名和密码错误,可以让数据库延迟几秒再返回给前端,这样是防止利用穷举密码的方式来尝试登陆数据库。...上面的截图是PG数据库将某一个SQL语句解析后的query tree的各个节点的内容打印在后台日志中。

1.7K20

POSTGRESQL PG 数据库到底烂不烂的后续

因为每次出现一些业务上的问题,的口头禅就是 PG 很烂,我十分理解他说的很烂,他是真的说PG很烂,当然也有一部分的多年积累的情绪。...本着解决问题只能从自己下手,后续我们会进行 1 我们针对PG数据库,能在什么数据量下,承受多大的并发,进行多大的TPS ,指标化。...2 加大 PG 宣传的粒度,部分普通的程序员,其实对数据库是一无所知的,在经过多年对其的了解,数据库在一些程序员的心里,基本上没有什么概念,或者就是一个SQL 散发器,或者数据存储器。...3 PG 在高并发进行UPDATE 的短板,也要自我认识,没有完美的数据库,只有识货的使用者,DB 需要彻底了解使用者的需求,并给出合理的使用PG数据库的方法,甚至可以改变高速数据输入的方法。...但不变的是,PG 很棒,他从来不烂!

45110

基于PMEM的PG数据库Memhive白皮书

基于PMEM的PG数据库Memhive白皮书 概要 PG是一个广泛应用的开源数据库,从财务管理、地理信息、水务系统到气象服务等等。可部署在本地,也可以部署在云上。...水平扩展包括在数据库集群中对表进行分区、讲每个分区驻留在单独的PG实例中。每个实例有自己专用的CPU、DRAM、存储资源。分片是一项横向扩展技术,用于切分表,让每个表分区独立运行在单独的PG实例上。...这样数据库可以继续从现有存储服务中获益,比如灾备和灾难恢复。 Ø面向磁盘的数据库可以通过持久cache高效地转换成内存数据库。 ØCache数据和元数据都在PM,不再需要昂贵的DRAM。...PMEM-only模式 该模式下,PG的所有数据,包括表索引文件都放到PM上。可以在整个数据都可容纳到PM时使用。APPDirect sector用于承载数据库文件,组合了PMEM和DRAM的优势。...Ø启动、停止、重新设置配置 Ø丰富的统计,包括大量counters和数据库、PMEM模块的统计信息 Ø探测硬件故障并恢复 Ø展示PG配置、硬件配置,包括CPU、内存和NUMA节点信息 测试 测试包括OLTP

43700

基于PMEM的PG数据库Memhive白皮书

基于PMEM的PG数据库Memhive白皮书 概要 PG是一个广泛应用的开源数据库,从财务管理、地理信息、水务系统到气象服务等等。可部署在本地,也可以部署在云上。...水平扩展包括在数据库集群中对表进行分区、讲每个分区驻留在单独的PG实例中。每个实例有自己专用的CPU、DRAM、存储资源。分片是一项横向扩展技术,用于切分表,让每个表分区独立运行在单独的PG实例上。...这样数据库可以继续从现有存储服务中获益,比如灾备和灾难恢复。 Ø 面向磁盘的数据库可以通过持久cache高效地转换成内存数据库。 Ø Cache数据和元数据都在PM,不再需要昂贵的DRAM。...PMEM-only模式 该模式下,PG的所有数据,包括表索引文件都放到PM上。可以在整个数据都可容纳到PM时使用。APPDirect sector用于承载数据库文件,组合了PMEM和DRAM的优势。...Ø 启动、停止、重新设置配置 Ø 丰富的统计,包括大量counters和数据库、PMEM模块的统计信息 Ø 探测硬件故障并恢复 Ø 展示PG配置、硬件配置,包括CPU、内存和NUMA节点信息 测试 测试包括

70520
领券