MySQL 慢日志（slow log）是 MySQL DBA 及其他开发、运维人员需经常关注的一类信息。使用慢日志可找出执行时间较长或未走索引等 SQL 语句，为进行系统调优提供依据。 本文将结合一个线上案例，分析如何正确设置 MySQL 慢日志参数和使用慢日志功能，并介绍下网易云 RDS 对 MySQL 慢日志功能的增强。
Robinhood 的使命是使所有人的金融民主化。Robinhood 内部不同级别的持续数据分析和数据驱动决策是实现这一使命的基础。我们有各种数据源——OLTP 数据库、事件流和各种第 3 方数据源。需要快速、可靠、安全和以隐私为中心的数据湖摄取服务来支持各种报告、关键业务管道和仪表板。不仅在数据存储规模和查询方面，也在我们在数据湖支持的用例方面，我们从最初的数据湖版本[1]都取得了很大的进展。在这篇博客中，我们将描述如何使用各种开源工具构建基于变更数据捕获的增量摄取，以将我们核心数据集的数据新鲜延迟从 1 天减少到 15 分钟以下。我们还将描述大批量摄取模型中的局限性，以及在大规模操作增量摄取管道时学到的经验教训。
当想要对来自事务数据库（如 Postgres 或 MySQL）的数据执行分析时，通常需要通过称为更改数据捕获[4] CDC的过程将此数据引入数据仓库或数据湖等 OLAP 系统。Debezium 是一种流行的工具，它使 CDC 变得简单，其提供了一种通过读取更改日志[5]来捕获数据库中行级更改的方法，通过这种方式 Debezium 可以避免增加数据库上的 CPU 负载，并确保捕获包括删除在内的所有变更。现在 Apache Hudi[6] 提供了 Debezium 源连接器，CDC 引入数据湖比以往任何时候都更容易，因为它具有一些独特的差异化功能[7]。Hudi 可在数据湖上实现高效的更新、合并和删除事务。Hudi 独特地提供了 Merge-On-Read[8] 写入器，与使用 Spark 或 Flink 的典型数据湖写入器相比，该写入器可以显着降低摄取延迟[9]。最后，Apache Hudi 提供增量查询[10]，因此在从数据库中捕获更改后可以在所有后续 ETL 管道中以增量方式处理这些更改下游。
Postgresql主从复制 📷 主备数据库启动，备库启动wal_receiver进程，wal进程向主库发送连接请求； 主库收到连接请求后启动wal_sender进程，并与wal_receiver进程建立tcp连接； 备库wal_receiver进程发送最新的wal lsn 给主库； 主库进行lsn 对比，定期向备库发送心跳信息，来确认备库的可用性，并且将没有传递的wal日志文件进行发送，同时调用SyncRepWaitForLSN()函数来获取锁存器，并且等待备库响应；锁存器的释放时机和主备同步模式的选择有
PG安装完成后默认不会记录日志，必须修改对应的（${PGDATA}/postgresql.conf）配置才可以，这里只介绍常用的日志配置。
大家都不希望在错误日志文件中出现用户密码。PG使用SQL查询管理用户账户，包括密码。如果启用log_statement，log_min_error_statement为log，那么用户密码就有可能出现在server log中。
上一篇文章说道PostgreSQL 12 的源码部署，这里我们说一下PostgreSQl 12的主从流复制和归档配置。
为了节省资源，博主这里只搭建了一台，只有一台主的服务器。端口：6301密码：rds6301_paswd
我们知道postgresql的主从切换有点麻烦，或者说操作步骤要求很严格。可能我们经常遇到这种情况，在没有将主库杀死的情况下将备库提升为主，这时主备库可能由于某种原因都在提供写入操作，这时发生脑裂，如果不考虑数据丢失因素，这时我们可能想将原来的主库以备库的模式重新加入集群，但是主备库此时的时间线已经偏离了，这时就需要我们的pg_rewind工具了。
1. 任何执行时间长于 wait_timeout或interactive_timeout选项值得备份，都会导致会话被关闭，这也会隐含执行UNLOCK TABLES命令。 2. 对于使用FLUSH TABLES WITH READ LOCK的备份策略来讲，一个共同的缺陷是它们需要两个独立的线程来完成备份过程。运行FLUSH TABLES WITH READ LOCK命令， 然后从当前连接退出将自动执行一条UNLOCK TABLES命令。从FLUSH TABLES WITH READ LOCK成功返回后，任何备份选项都必须在一个不同的并发线程中执行，只 有当适用的备份选项完成时，才可以执行UNLOCK TABLES. 3. 在高并发系统中使用FLUSH TABLES WITH READ LOCK命令的风险是有可能会需要较长的时间，因为有其他耗时较长的语句需要执行，最好被监控和终结，对于在 线型应用的影响又是是不可忽略的。 4. 对MySQL备份的常用方案： * 文件系统冷备份
基本介绍 什么是PostgreSQL？ PosgreSQL是一个 开源、对象关系的数据库系统。目前可以运行在Linux/Unix/Windows平台。支持ACID,内置INTEGER/NUMBERIC/BOOLEAN/CHAR/VARCHAR/DATE/INTERVAL/TIMESTAMP/binary larget objects等数据结构 PostgreSQL有些限制？ 图片 PostgreSQL有哪些核心功能？ MVCC PITR 时间点恢复 独立表空间和异步复制 Nested 事务和online
对于表的DDL时间，可以进入对应的数据库中，然后查询视图pg_stat_operations、pg_stat_last_shoperation、pg_stat_operations、pg_stat_partition_operations 都可以。
log_destination (string) PostgreSQL支持多种方法来记录服务器消息，包括stderr、csvlog和syslog。在 Windows 上还支持eventlog。设置这个参数为一个由想要的日志目的地的列表，之间用逗号分隔。默认值是只记录到stderr。这个参数只能在postgresql.conf文件中或在服务器命令行上设置。
PostgreSQL数据库中的WAL的主要用途是用于故障恢复，针对数据库的数据insert/delete/update操作都会形成一些列的WAL日志记录，多个WAL日志组成WAL的日志序列，这些日志记录记录了哪些page做了什么修改。如果此时数据库发生故障(主机),哪些未被提交的事务或者需要回滚的事务可以从WAL中进行恢复。 PostgreSQL针对数据的更改先会写入到内存，但是事务提交后一定是要把数据更改信息写入到WAL日志。比如做update一条记录，现在内存中构建update tuple,然后插入到
使用过inception的人对SQL审核这块获取都比较熟悉，作为DBA，审核SQL是日常工作中的很重要的一块内容，审核好SQL对于后期项目以及数据库维护上起着至关重要的作用。
将数据从一个服务器复制到另一个服务器的过程就是PG复制。源数据库服务器通常称为Master，而接收复制数据的数据库服务器称为Replica服务器。
在数据处理领域，数据分析师在数据湖上运行其即席查询。数据湖充当分析和生产环境之间的接口，可防止下游查询影响上游数据引入管道。为了确保数据湖中的数据处理效率，选择合适的存储格式至关重要。
连续归档可以配合随时准备取代失效主服务器的一个或多个备份服务器， 用于创建一个高可用性(HA)集群。这个能力通常被称为温备份或日志传送
原文：https://www.enmotech.com/web/detail/1/764/1.html
墨墨导读：本文主要从日志文件、参数文件、控制文件、数据文件、redo日志（WAL）、后台进程这六个方面来讨论PostgreSQL的结构。
与任何IT系统一样，为了保证HAWQ集群的高可用和高性能，需要进行一系列监控与维护活动。本篇讨论HAWQ推荐的运维与监控活动。 一、推荐的监控与维护任务 表1至表5是H
架构 📷 📷 环境准备 -- 创建专用网络 docker network create --subnet=172.72.6.0/24 pg-network -- PG A docker rm -f lhrpga docker run -d --name lhrpga -h lhrpga \ -p 64320:5432 --net=pg-network --ip 172.72.6.20 \ -e POSTGRES_PASSWORD=lhr \ -e TZ=Asia/Shanghai \
Odoo（以前称为OpenERP）是一个开源的业务应用程序套件，包括客户关系管理（CRM），销售渠道，项目管理，制造，发票，会计，电子商务和库存工具，仅举几例。Odoo团队创建了34个主要应用程序，社区成员开发了超过5,500个应用程序，涵盖了广泛的业务需求。
PostgreSQL是最像Oracle的开源数据库，我们可以拿Oracle来比较学习它的体系结构，比较容易理解。PostgreSQL的主要结构如下：
本篇介绍如何利用Kettle提供的转换步骤和作业项实现Hadoop数据仓库的数据抽取，即ETL过程中的Extract部分。首先简述Kettle中几种抽取数据的组件，然后讲述变化数据捕获（Change Data Capture，CDC），以及Kettle如何支持不同的CDC技术。Hadoop生态圈中的Sqoop工具可以直接在关系数据库和HDFS或Hive之间互导数据，而Kettle支持Sqoop输入、输出作业项。最后我们使用Kettle里的Sqoop作业项以及基于时间戳的CDC转换实现销售订单示例的数据抽取过程，将MySQL中的源数据抽取到Hive的rds数据库中。
在上一期《复制信息记录表|全方位认识 mysql 系统库》中，我们详细介绍了mysql系统库中的复制信息记录表，本期我们将为大家带来系列第八篇《日志记录等混杂表|全方位认识 mysql 系统库》，下面请跟随我们一起开始 mysql 系统库的系统学习之旅吧！
PostgreSQL从小白到专家，是从入门逐渐能力提升的一个系列教程，内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容，希望对热爱PG、学习PG的同学们有帮助，欢迎持续关注CUUG PG技术大讲堂。
wal全称是write ahead log，是postgresql中的online redo log，是为了保证数据库中数据的一致性和事务的完整性。而在PostgreSQL 7中引入的技术。它的中心思想是“先写日志后写数据”，即要保证对数据库文件的修改应放生在这些修改已经写入到日志之后，同时，在PostgreSQL 8.3以后又加入了WalWriter日志写进程，可以保证事务提交记录不是在提交时同步写入到磁盘，而是异步写入，这样就极大的减轻了I/O的压力。所以说WAL日志很重要。对保证数据库中数据的一致性和事务的完整性。
应用程序升级或变更时，配置文件与数据库均可保留（使用sqlite方式时不保留任何信息）
想要一个数据库长久健康的运行，离不开完备的运维工作，切忌只运而不维。针对Greenplum分布式数据库，集群由大量服务器组成，对运维人员或DBA，不仅要关注数据库本身，还要注意集群中各硬件的状况，及时发现并处理问题。本篇介绍权限与角色管理、数据导入导出、性能优化、例行监控、例行维护、推荐的监控与维护任务六方面常规工作内容，目标是满足Greenplum系统维护、使用等方面的要求，保证提供稳定高效的数据库服务。
在做最后一个MySQL NBU备份的时候，发现从库有问题，好奇的是怎么主从状态异常没有告警呢？先不管这么多了，处理了这个问题再完善告警内容。
PG14中增强了libpq功能,以跟踪应用程序的服务器/客户端通信的可用性。它添加了新的选项控制输出格式。
Grafana是一个完全开源的度量分析与可视化平台，可对来自各种各种数据源的数据进行查询、分析、可视化处理以及配置告警。
对于一个数据库系统来说，假设这个系统没有运行，我们所能看到的和这个数据库相关的无非就是几个基于操作系统的物理文件，这是从静态的角度来看,如果从动态的角度来看呢,也就是说这个数据库系统运行起来了，能够对外提供服务了，那就意外着数据库系统启动了自己的一个实例，综合以上2个角度，Oracle如何定义上述描述呢？
MySQL主从复制是一种常用的数据库高可用性解决方案，可以提高数据库的可用性和性能。本教程将介绍如何搭建MySQL主从复制。
PG使用共享内存在多进程之间进行数据共享。使用动态共享内存段dynamic shared memory segments在并行workers之间进行数据交换，这个内存在启动时分配固定大小。但是PG后端进程必须管理私有内存用于处理SQL语句。本文，介绍PG如何使用memory context，即内存上下文，来管理私有内存；以及如何检查内存使用情况。这对于编写服务器代码的人来说很有意思，但我要重点关注用户如何理解和调试SQL语句的内存消耗。
在正式介绍 PostgreSQL 主从同步复制 之前，我们先了解一下 PostgreSQL 的预写日志机制（WAL）。
该篇文章对MySQL中的日志进行总结与简单介绍，不会涉及的太深。主要的目的是为了对MySQL中的日志文件有一个体系化的了解。后面会对每一种日志文件做具体的分析与总结。
由于RDS(Oracle)不直接支持SSH，FTP(基于安全因素吧).所以原有系统expdp或exp出来的dmp文件，不能直接导入到RDS中。官方文档里建议通过networklink或者dblink的方式 从原有数据库迁移到RDS，考虑到网络和安全因素，此方法暂被忽略掉。
然后当我们配置为csvlog日志时，日志行的内容项是固定的，所以当我们需要配置日志前缀，精简日志行的内容项时，log_destination不能配置为csvlog。下面是正确的配置：
PostgreSQL可以通过log_statement=all 提供日志审计，但是没有提供审计要求的详细程度。PostgreSQL Audit Extension (pgAudit)能够提供详细的会话和对象审计日志，是PG的一个扩展插件。pgAudit通过标准PostgreSQL日志记录工具提供详细的会话和/或对象审核日志记录。
最近在整理POSTGRESQL MYSQL MONGODB REDIS 的标准化模板配置参数,当然这里面还包含 LINUX 的一些基本配置. 相关的整理的工作是我的三个 DBA 操作的, 针对目前的参数进行了相关的整理和重新设定. 昨天有人问我要,这边进贴出来,如果大家有什么问题 ,告诉我们, 大家一起进步.
mysqldump对于导出10G以下的数据库或几个表，还是适用的，而且更快捷。一旦数据量达到100-500G，无论是对原库的压力还是导出的性能，mysqldump就力不从心了。Percona-Xtrabackup备份工具，是实现MySQL在线热备工作的不二选择，可进行全量、增量、单表备份和还原。（但当数据量更大时，可能需要考虑分库分表，或使用 LVM 快照来加快备份速度了）。 2.2版本xtrabackup能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份，innobackupex通过perl封装了一层xtrabackup，对MyISAM的备份通过加表读锁的方式实现。2.3版本xtrabackup命令直接支持MyISAM引擎。
学习是一个循序渐进的过程，从面到点、从宏观到微观，逐步渗透,各个击破，对于Oracle, 怎么样从宏观上来理解呢？先来看一个图，这个图取自于教材，这个图对于从整体上理解ORACLE 的体系结构组件，非常关键。
分享一下之前用到的tbase/pg命令, 主要是和mysql/oracle差别太大了. 做个记录, 方便后面看.
1.文档编写目的 SQL Stream Builder(SSB)是Cloudera提供的基于Flink-SQL的实时流计算Web开发平台，它提供了一个交互式的Flink SQL编辑器，让用户可以方便的使用SQL访问一个source比如Kafka中的数据写入到一个sink比如Hive中，具体可以参考Fayson的上一篇文章《0877-1.6.2-SQL Stream Builder(SSB)概述》。本文主要介绍如何在CDP中安装SSB，SSB与Apache Flink同属于Cloudera Streaming
PG 相关系统日志参数 最近值班的时候遇到pg的日志问题，顺带梳理一下 pg的系统日志参数。 默认情况下，很过日志参数是缺省值，需要查看详细日志信息，必须对相关参数进行修改。 logging_collector = on/off 是否将日志重定向至文件中，默认是off, 修改该参数之后后，需要重启DB服务。 对比修改前后，postgresql的进程变化，修改之后多3个 postgres: logger 进程。 📷 log_directory = 'log' :日志文件目录，默认是变量 PGDATA的相对路
PostgreSQL官方文档指定了以下三种备份方法，详见：https://www.postgresql.org/docs/current/backup.html
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
