最近数据仓库时不时爆磁盘空间不足，导致定时任务执行失败，这可了得，要知道定时任务执行的可是每天的业务数据。
本文主要用来记述pg数据库的相关操作和异常排查指南，继上一篇博客之后，异常的频繁更新，导致死亡元组指数级增长之后，空间占用也成倍增长，逻辑问题导致了数据库问题，但细想之下也发现,当pg在面对海量数据的更新删除之后，频繁的autovacuum会导致数据库大量的I/O，完了又会影响其他进程，就参数配置来看，还是有蛮多优化的空间的，毕竟空间和时间是两个相生相克的关系。就目前的默认的配置来看，手动标记60w数据执行vacuum标记清理花了6分钟，直接清空死亡元组也差不多这个时间，当空间膨胀到300g的时候数据量达到140w，vacuum已经有点吃不消了执行了半个小时也没有看到执行结束，至少在频繁更新的情况下，可见vacuum还是有他的局限性，就像官网提示的:Plain VACUUM may not be satisfactory when a table contains large numbers of dead row versions as a result of massive update or delete activity. 而且默认配置的的自动间隔是1分钟，我觉得这里面有很大的优化空间，尤其是海量数据频繁更新和删除的时候，当autovacuum的执行时间超过1分钟之后，就需要注意系统的死亡元组数量了，类似于当我打扫垃圾的速度低于产生垃圾的速度此时垃圾只会越来越多，当然这是在大数据量特定频繁更新和删除场景的情况下，结合相关的配置产生的一种思考。 需要注意的配置主要有autovacuum_max_workers可以根据cpu核心数配置，autovacuum_work_mem工作内存和vacuum_scale_factor规模因子，
load() 和 get() User user = session.get(User.class, "1"); 如上调用get方法后，会向数据库查询id为1的user。 User user = session.load(User.class, "1"); 如上调用load方法后，会返回一个代理对象，id为1，但其他属性都为null，并未向数据库查询。若继续执行String name = user.getName();，则才会执行数据库的查询。而在此时，很有可能数据库中根本没有id为1的user，就会报空指
玩 wordpress 的人都知道，wp 本身是比较庞大的一个 php 程序，尤其是数据库方面是比较大的，wp 的文章编辑器在写文章的时候会定时自动储存为修订版本以防意外，当你文章写完了之后，那些储存起来的文章片段会一直保存在数据库中，日积月累成为影响 wp 工作效率的累赘。wp 数据库中的可清理部分包括但不限于以下这些：修订版本，草稿，自动草稿，待审评论，垃圾评论，回收站评论，孤立的文章元信息，孤立的评论元信息，孤立的关系信息，控制板订阅缓存。为了提高数据库效率必须使用一个 wp 数据库优化插件，经过多方
网站数据库和人脑一样重要。所有内容，如评论、文章、用户信息甚至垃圾评论，都存储在里面WordPress数据库中。其中一些对于网站正常运行至关重要，删除这些元素可能会导致网站崩溃或故障。
点击▲关注 腾讯云数据库 【迪B课堂】为腾讯云数据库产品经理迪B哥开设的面向数据库开发者、数据库运维人员、云端运维人员的系列培训课程，旨在帮助大家从入门到精通学习和使用数据库。《我说》为迪B课堂的答疑系列，3分钟帮您解决数据库日常运维过程中的小难题。搜索关注腾讯云数据库官方微信，立得10元云代金券，可移动端一键管理数据库。 本期主题是：MySQL中清理Binlog的正确方式 视频核心信息： 在使用MySQL数据库的过程当中，遇到磁盘空间满的时候，我们通常会使用drop、delete或者truncate命令
今天做了下周期表清理的设计，从实践的效果来看还不错。现在线上环境有差不多50多个周期表要统一管理，随着这个管理的规模扩大，对于生命周期的管理也迫在眉睫。
我们经常会被问到delete和truncate的区别，然后我们经常回答delete是删除表数据，truncate是清空表，
和任何数据库软件一样，PostgreSQL需要定期执行特定的任务来达到最优的性能。这里讨论的任务是必需的，但它们本质上是重复性的并且可以很容易使用cron脚本或Windows的任务计划程序等标准工具来自动进行。建立合适的脚本并检查它们是否成功运行是数据库管理员的职责。
wordpress 博客一直都是以数据库比较臃肿著称，如果不定期优化一下很快就会涨到几百 M 大小，严重拖慢网站打开速度。今天说一款清理 WordPress 垃圾评论和数据结构的插件：WP-Sweep。 前面写过WP-Optimize 插件安装使用教程，而且魏艾斯博客一直在使用它，想起来了就清理一下（也有定时自动清理功能），一直保持数据库最优化状态。最近插件升级后再用的时候就一直报错：an unexpected response was received，也找不出原因来，只好临时换一款数据库优化插件试试了。
数据持久化是将内存中的数据转换为存储模型，以及存储模型转换为内存中的数据模型的统称。数据模型可以是任何数据结构或对象模型。存储模型可以使关系模型、XML、二进制流等。cmp和Hibernate只是对象模型到关系模型之间转换的不同实现。
MySQL作为蓝鲸平台存取数据的主要数据库，其稳定性关系到蓝鲸平台的使用体验，而其数据安全性则可能关系到企业IT资产相关信息，在安装和维护蓝鲸平台的过程中应引起足够重视。本文将对如下几个出现过的问题进行分析和提供处理建议。这几个问题分别为：升级，配置日志自动清理，binlog手动清理维护，表清空，备份。
在使用SVN（Subversion）进行版本控制时，有时会遇到无法从原始内容仓库中安装的问题。这种问题通常会导致无法拉取分支或更新代码，可能会给开发过程带来不便。本文将介绍一种解决这种问题的方法，即清空本地SQLite数据库中的工作队列表（WORK_QUEUE），以恢复SVN的正常功能。
对于基于日志复制的主备数据库来说，由于配置不当或者备库空间问题造成主数据库的日志被自动清理，造成主备数据库同步中断，对于管理人员来说，也许就是一种失责甚至灾难(如果主发生故障),同样基于日志复制的同步软件来说，存在同样的问题，日志由于各种原因被删除,造成同步数据被中断，如果有定时备份日志，无非就是延迟的问题，如果无日志，可能重新初始化，尤其对于架构复杂以及多链路的复制，修复数据也是头疼事情。
openGauss行存储的多版本机制与业界比较常见的关系型数据库有较大的不同，核心区别为行存储的多版本在更新的时候并不是就地更新，而是在原有页面中保留上一个版本，转而在这个页面（如果空间不够会在新页面中）创建一个新的版本，来进行历史版本的累积更新。
Redis 本身支持16个数据库(0~15)，通过 数据库id 设置，默认为0。在Windows平台下可以通过启动redis-cli.exe来进入客户端，客户端默认连接数据库0，在客户端里可以输入各种命令。
人工智能的热潮已经在逐渐冷却，炒新闻的越来越少，AI 已经逐渐侵入到实际的生活中，可能我的神经弧反射的比较长，到现在才后知后觉，所以以一个后知后觉的人的角度来说说我感知DBA 与 AI 之间的关系。
1、问题描叙：每次用 navicat 连接成功数据库后，如果出现一段时间没有任何操作，再次刷新数据库、打开某一个表、执行 Sql 语句时，界面会出现加载中……，要么就是卡顿现象。一开始我个人以为是我的电脑卡顿，结果其他同事也出现了同样的问题。
写这篇文字的起因是众多的DB们投入到学习PG数据库，遇到了一些困难，其实提出这个题目的时候，其实我也在想，每种数据库都有自己的适合的管理方法，有些是管理方法实则是无奈。最近有人问 POSTGRESQL 使用的方式是更贴近ORACLE 还是 MYSQL。
Postgresql作为世界上最先进的HTAP数据库，以其超高在线事务处理及分析性能和强大的功能被广泛应用与各行各业中。但其实它也并不完美，说到postgres，不得不提那个让人一直头疼的问题，也是数据库使用者所诟病最多的地方：vacuum。那么为什么会有vacuum这个东西呢？它是做什么用的呢？
1 ） . 在 Session 接口的实现中包括一系列的 Java 集合 , 这些 Java 集合构成了 Session 缓存 .
在Postgresql做delete操作时，数据集(也叫做元组 (tuples))是没有立即从数据文件中移除的，仅仅是通过在行头部设置xmax做一个删除标记。update操作也是一样的，在postgresql中可以看作是先delete再insert;
一、功能特点 同时支持多种数据库比如odbc、sqlite、mysql、postgresql、sqlserver、oracle、人大金仓等。 一个数据库类即可管理本地数据库通信，也支持远程数据库通信等。 数据库线程支持执行各种sql语句，包括单条和批量。 组件中的所有类打印信息、错误信息、执行结果都信号发出去。 集成数据库通用翻页类（负责具体处理逻辑），搭配分页导航控件（负责外观），形成超级牛逼的翻页控件。 集成数据库自动清理类，设定最大记录数后台自动清理早期数据。 集成自定义委托类，支持复选框、文本框、下
有可以重置 system properties 中的一些设置；jobs.limit.per.purge, all.jobs.ttl.hours and unsuccessful.jobs.ttl.hours。 每集群（Per cluster） 每天的 11 PM
前言： 上一篇简单的讲解了下Hibernate的基础知识。这里对Hibernate比较重要的一些知识点，进行总结和归纳。 总结的知识点： 1 关于hibernate映射的实体类标识符访问权
路 获取mysql服务器所有数据库名称，过滤掉不需要备份的数据库 通过mysqldump来for循环导出所有的数据库的sql文件 用zip加密压缩所有的sql文件 定期进行数据清理工作 shell代码 数据库导出代码 #!/bin/bash #1.数据库信息定义 mysql_host="192.168.1.1" mysql_user="root" mysql_passwd="root" #sql备份目录 root_dir="/backup" back_dir
3 天前，运行的社区系统报告，很多老的历史照片都无法作为附件加载 —— 小鲨鱼，快来解决问题。
Java应用程序在结束运行时，需要做一些清理工作，例如释放资源、关闭数据库连接等。为了保证这些清理工作能够顺利完成，Java提供了Shutdown Hook机制。本文将详细介绍Java Shutdown Hook机制的原理、使用方法以及注意事项。
Redis的复制功能是支持多个数据库之间的数据同步。主数据库可以进行读写操作，当主数据库的数据发生变化时会自动将数据同步到从数据库。从数据库一般是只读的，它会接收主数据库同步过来的数据。 下面是主从复制的原理：
由于业务增长，频繁的备份还原对于磁盘空间有了更大的空间需求，基本每周500G的磁盘，空间使用率都会达到85%以上，故编写Oracle清理脚本结合crond自动清理Oracle归档日志。
用过宝塔创建网站，大家应该都非常熟悉，但是用随着用的时间越来越多，宝塔所占用的空间也越来越多，不停的加大数据盘都没有用，我原先买了30G够用了，随着时间一长，发现数据盘又满了，不得不又买了20个G扩容，可是过了一段时间又满了。这我就不能忍了。今天来看看到底是怎么一回事。
预写式日志write ahead log，是数据库保证数据完整性的重要数据结构。数据库管理器将数据库发生的变更记录写入wal日志缓冲区，进而写入wal日志文件中，在数据库崩溃时利用wal日志进行重演恢复，这几乎是所有数据库的统一实现原理。
由于云计算环境的规则与内部部署环境不同，因此在顺利进行迁移之前，应先对数据库进行适当的清理工作。
人要弄懂人生的剧本，你不是父母的续集，也不是孩子的前传，更不是亲戚朋友的外传，生命终会失去，不妨给自己多点选择
在PostgreSQL 中很少被提及的一个问题，归档，而这里经常有人问这个问题，所以需要写一期来说说关于ARCHIVE 的问题。
Sqlite 是一款轻量级的关系型数据库，以小巧和嵌入式闻名。以前只是听说，现在终于忍不住要尝试下.本文的初衷是为.net平台的使用者提供帮助。 Sqlite有专门为VS2010开发的程序包，大家可以到System.Data.SQLite Download Page 下去下载，注意是：This is the only setup package that is capable of installing the design-time components for Visual Studio 2010
说说最近的一个案例吧，线上阿里云RDS上的一个游戏日志库最近出现了一点问题，随着游戏人数的增加，在线日志库的数据量越来越大，最新的日志库都已经到50G大小了，在线变更的时间非常长。
最近问问题的同学挺多的，也有问有没有群的，实在是忙没有建群，所以问的人多了，想想还是建一个群，但本人写文章不懒，其他的比较懒，因为问POLARDB 的问题的多，所以建立了一个 POLARDB 和 PG 以及文章问题的讨论群。希望能帮助自己也帮助大家共同提高，要进群的，可以添加微信 liuaustin3 ,来申请加群。
主流接口测试工具：Jmeter、PostMan、RESTClient、Fiddler、Requests库，不同测试环境不同需求，选择不同工具。
Reset 复位插件主要用于给 wordpress 做一次“归零”操作，也叫初始化，也就是清理已安装过的数据。这样就可以免去重新配置网站的繁琐过程了。
数据库的报警可以拆分为很多类别，但是有一点是无论如何都跑不掉的，而且花样百出，那就是磁盘空间报警。
本文介绍了MySQL DROP TABLE操作可能存在的性能瓶颈，包括InnoDB引擎表、MyISAM引擎表、以及操作系统层面的限制。针对这些瓶颈，本文提出了相应的优化方案，包括增大InnoDB缓冲池、使用MyISAM存储引擎、以及调整操作系统相关参数。通过这些优化方案，可以有效地提升MySQL数据库的性能，减少DROP TABLE操作对数据库性能的影响。
去年秋天，在macOS Big Sur正式发布之后展示了小部件和一个新的应用程序图标。今天CleanMyMac X推出了M1芯片的原生支持，并获得了全新的外观。CleanMyMac X我们对引擎进行了重要更改，以优化M1应用。现在，CleanMyMac X可以在最新的Mac型号顺畅运行，使您在新的Mac上更具生产力。
做性能测试过程中遇到了一些问题，现总结下来，希望能给大家带来一些参考，写的不好请多包涵和指教。因为是公司的项目，为避免信息泄漏，所以把相关信息涂掉了。 问题一： 做接口性能测试时，单用户时响应时间是5
特点如下： 1、 crontab 中显示类似上面的任务，并且清理后又会出现。 2、 服务器负载高，CPU使用100%。存在fb972c73a8等数字的进程并且使得CPU100%
MQ是现在大型系统架构中必不可少的一个重要中间件，之前有偏文章《MQ(消息队列)常见的应用场景解析》介绍过MQ的应用场景，现在流行的几个MQ是rabbitmq,rocketma,kafka,这几个MQ比较最容易找到相关的文章，而也有些系统使用的是activemq，因activemq是相对比较传统的MQ，在使用过程中还是会遇到很多坑，这里简单列举几个大家可能会遇到的问题，把自己使用acitvemq的经验和大家分享一下。
对于节假日，难得的假期，尤其是外出的时候碰上几个数据库报警，那些报警又属于不得不处理的时候，真是让人上火，所以也想了一些办法来尽可能杜绝和避免这种情况。
至于pg为什么不做这个功能我也想了很久，下面是我自己的一点猜测。pg是个追求完美主义的数据库，他从架构设计层面就会考虑如何做到完美，比如说他不用主流数据库都在使用的undo，我猜测这个原因是因为，使用undo有一个问题，undo空间不管是文件系统还是表空间都是有大小限制的，而数据库未提交的事务信息可能是无限大的，这样数据的前镜像总有可能将undo空间撑爆掉，这样就需要清理旧的undo段，如果需要查询的undo前镜像备清理了，数据库就会跑出错误，这就是oracle中经典的snapshot too old报错。所以pg摒弃了这种模式，因为他觉得必须要提供给用户一个需要的数据一定能查到的数据库，而不是本该能查到的数据被无端清理掉了，所以pg使用了多数据版本来解决这个问题，将前镜像的真实数据放在数据文件中，真正确保没有事务可能再去访问该数据时才进行清理。当然这样也带来膨胀的问题，这其实也是pg最遭人诟病的问题。
分享一个WordPress中，可以清理数据库、优化数据库的插件：Easy WP Cleaner。该插件，可以一键清理不必要的数据库数据，比如：
在hue的使用过程中，由于hue会永久的保存所有数据，并且不会自动的去清理desktop_document, desktop_document2, oozie*, beeswax*这些tables里的data,因此在长时间高频次的使用后，可能会导致hue的性能下降，造成hue的登陆，运行，使用缓慢等性能问题。本文主要介绍如何进行hue的数据的清理。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
