今天看了一下PostgreSQL row_number的实现过程。之前一直好奇窗口函数是什么，原理是什么，今天稍稍解惑。下面就以row_number为例进行介绍： 窗口函数：
首先需要对Oracle和PostgreSQL的SQL都比较熟悉。对其理解的越详细就越具有优势，本文帮助读者迅速理解这两类SQL的区别是什么。
有一个讲自定义聚合函数入门非常好的例子： https://www.cybertec-postgresql.com/en/writing-your-own-aggregation-functions/
现在MySQL 8和PostgreSQL 10已经发布，现在是重新审视两个主要的开源关系数据库如何相互竞争的好时机。
最近在了解国外Firebolt这家公司，对于Firebolt 最初的架构选型和思路是非常认可的。Firebolt 这篇 Paper 核心围绕着这样一个主题：在云数仓领域，对于一家初创公司，如何在人力和资源有限的情况下，怎么能够快速的切入这个这个市场？虽然 FireBolt 本身就有很多技术大牛（比如 Mosha Pasumansky），但是针对数据库所有组件（查询优化器、计算引擎、存储、事务管理器等等）完全从零做，对于初创公司而言，根本不现实。
postgres不知不觉已经升到了版本13,记得两年前还是版本10，当然这中间一直期望着哪天能在项目中使用postgresql，现在已实现哈～； 顺带说一下：使用postgresql 的原因是它的生态完整，还有一个很重要的点儿是 速度快 这个在第10版的时 这么说也许还为时过早， 但是在13这一版本下一点儿也不为过,真的太快了，我简单的用500w的数据做聚合，在不建立索引(主键除外)的情况下 执行一个聚合操作，postgres 的速度是mysql的8倍，真的太快了～；好了，这一章节我就聊一聊我实际碰到的问题，就是：跨库查询，这里是用mysql_fdw实现的。
How to understand differences between ROWTYPE, TYPE, and RECORD in postgresql? Official documentatio
作者：陈之炎 本文约5500字，建议阅读15分钟本文对利用MADlib项目来创建一个框架，以满足大规模数据量的需求。 随着数据规模的不断扩大，目前，许多现有的分析解决方案都无法胜任大规模数据量的计算任务。利用MADlib项目来创建一个框架，以满足大规模数据量的需求，该框架旨在利用现代计算能力，提供适应业务需求的强大解决方案。 概述 MADlib实现方案来自商业实践、学术研究和开源开发社区的多方面努力，它是一个基于SQL的数据库内置的可扩展的开源机器学习库，由Pivotal与UCBerkeley合作开发。MA
学习PG聚合操作机制时，看到ExecInitAgg中初始化时有对AggState中有pergroups等进行初始化[AggState的解释见上一篇：GreenPlum7聚合操作结构体之间关系
这几天疫情爆发，只能待在家里为社会多做些贡献，一天深夜无意逛安全资讯的时候发现最新的一个漏洞：CVE-2020-7471 Potential SQL injection via StringAgg(delimiter)。漏洞是 django 的，于是我将漏洞编号拿到 google 查找了一番，发现并没有找到任何关于这个漏洞的详细说明和利用 POC，于是我动手写下了这篇文章。
PostgreSQL数据库中，对于NULL值相加的处理：任何数值和NULL相加都得NULL。
至于Mysql大家都很熟悉，很多公司因为人才储备和数据量大的原因，一般是Hadoop+Mysql的模式，Hadoop计算大量原始数据，然后按维度汇总后的展示数据存储在Mysql上，但是Mysql也有很多的“坑”：比如著名的Emoji表情坑，由此引申出来的utf8mb4的坑（隐式类型转换陷阱），性能低到发指的悲观锁机制，不支持多表单序列中取 id，不支持over子句，几乎没有性能可言的子查询........有点罄竹难书的意思，更多的“罪行”详见：见鬼的选择：Mysql。而这些问题，在PostgrelSQL中得到了改善，本次我们在Win10平台利用Docker安装PostgrelSQL，并且初步感受一下它的魅力。
Postgresql的plpgsql提供了一套钩子函数支持运行时动态加载，非常便于调试plpgsql。本文总结使用方法和实例。
Citus 提供对大型数据集的实时查询。我们在 Citus 常见的一项工作负载涉及为事件数据的实时仪表板提供支持。
Notify和Listen是Postgresql提供的不同会话间异步消息通信功能，例子：
我其实是想郑重其事的回答以下在上个礼拜分享会分享后，一个人最后对我的一个问题，问题是, PG 和 MYSQL 到底那个是 NO.1 ，当时我的语气不是很好，因为我觉得很无聊，在此表示道歉，但观点我是不变的。
作者 | Jon Udell 译者 | 明知山 策划 | 丁晓昀 渗透测试人员、合规性审计员和其他 DevSecOps 专业人员花了大量时间编写脚本来查询云基础设施。人们喜欢用 Boto3（Python 版 AWS SDK）来查询 AWS API 并处理返回的数据。 它可以用来完成简单的工作，但如果你需要跨多个 AWS 帐户和地区查询数据，事情就变得复杂了。这还不包括访问其他主流云平台（Azure、GCP、Oracle Cloud），更不用说 GitHub、Salesforce、Shodan、Sl
本文记录下部署sentry和其中遇到的问题 Sentry 是一款基于 Django实现的错误日志收集和聚合的平台，它是 Python 实现的，但是其日志监控功能却不局限于python，对诸如 Node.js, php,ruby, C#,java 等语言的项目都可以做到无缝集成，甚至可以用来对iOS, Android 移动客户端以及 Web前端异常进行跟踪。我们可以在程序中捕获异常，并发送到 Sentry服务端进行聚合统计、展示和报警。 环境安装 请先安装 Docker 1.10+ yum in
1.11.0 之前，用户如果依赖 Flink 的 source/sink 读写关系型数据库或读取 changelog 时，必须要手动创建对应的 schema。但是这样会有一个问题，当数据库中的 schema 发生变化时，也需要手动更新对应的 Flink 任务以保持类型匹配，任何不匹配都会造成运行时报错使作业失败。这个操作冗余且繁琐，体验极差。
我们在Cloudflare的一个大规模数据基础架构挑战是为我们的客户提供HTTP流量分析。我们所有客户都可以通过两种方式使用HTTP分析：
B-tree索引适合用于存储排序的数据。对于这种数据类型需要定义大于、大于等于、小于、小于等于操作符。
数据库变更管理是软件发布必不可少的环节，理想状态是只需发布一个镜像，就能更新应用和数据库。我们项目使用gorm来操作数据库，gorm是具有数据库迁移功能的，但是没有SQL脚本直观。另外我们的应用是同库多服务的微服务，还有些服务存在多个实例的情况，这就需要考虑数据竞争问题了。经过调研，最终选择了Github 10k star 的golang-migrate。
基本介绍 什么是PostgreSQL？ PosgreSQL是一个 开源、对象关系的数据库系统。目前可以运行在Linux/Unix/Windows平台。支持ACID,内置INTEGER/NUMBERIC/BOOLEAN/CHAR/VARCHAR/DATE/INTERVAL/TIMESTAMP/binary larget objects等数据结构 PostgreSQL有些限制？ 图片 PostgreSQL有哪些核心功能？ MVCC PITR 时间点恢复 独立表空间和异步复制 Nested 事务和online
注意，这个不能获取到schema和database的归属情况，只能获取到表和序列的objectowner的情况
django.contrib.postgres.aggregates.StringAgg聚合函数使用适当设计的定界符进行了SQL注入。
📷 官方手册：https://docs.citusdata.com 📷 脑图大纲 入门 什么是Citus？ Citus 可以扩展多远？ 何时使用 Citus 多租户数据库 实时分析 使用注意事项 何时 Citus 不合适 快速教程 多租户应用程序 数据模型和示例数据 创建表 分发表和加载数据 运行查询 实时分析 数据模型和样本数据 创建表 分发表和加载数据 运行查询 安装 单节点 Citus Docker (Mac 或 Linux) Ubuntu 或 Debian Fedora, CentOS, 或 Re
Sentry 是一款基于 Django实现的错误日志收集和聚合的平台，它是 Python 实现的，但是其日志监控功能却不局限于python，对诸如 Node.js, php,ruby, C#,java 等语言的项目都可以做到无缝集成，甚至可以用来对iOS, Android 移动客户端以及 Web前端异常进行跟踪。我们可以在程序中捕获异常，并发送到 Sentry服务端进行聚合统计、展示和报警。sentry官方推荐docker方式安装，使用到了docker-compose。docker至少是1.10.3以上的版本。为此需要使用centos7。
1、循环调用getopt_long解析命令行参数，将参数保存到static DumpOptions dopt;中 2、判断参数是否相容，不相容则退出： options -s/--schema-only and -a/--data-only cannot be used together options -c/--clean and -a/--data-only cannot be used together options --inserts/--column-inserts and -o/--oids cannot be used together option --if-exists requires option -c/--clean
1、循环调用getopt_long解析命令行参数，将参数保存到static DumpOptions dopt;中 2、判断参数是否相容，不相容则退出：
（最近你们可能会看到我发很多陈年漏洞的分析，其实这些漏洞刚出来我就想写，不过是没时间，拖延拖延，但该做的事迟早要做的，共勉）
假如你是一个初创公司的 CTO，想迅速推出一款面向 AP 市场可用的数据库产品，还得有差异化的功能（不然谁会用一个新产品），你会怎么做呢？
PostgreSQL 可以说是目前功能最强大、特性最丰富和结构最复杂的开源数据库管理系统，其中有些特性甚至连商业数据库都不具备。这个起源于加州大学伯克利分校的数据库，现已成为一项国际开发项目，并且拥有广泛的用户群，尤其是在海外，目前国内使用者也越来越多。
脚本准备 创建表的脚本 CREATE DATABASE sampledb OWNER perrynzhou; GRANT ALL PRIVILEGES ON DATABASE sampledb TO perrynzhou; 数据登录脚本 psql -h 127.0.0.1 -d sampledb sampledb=# CREATE TABLE stu_xx_01(NAME TEXT NOT NULL,AGE INT NOT NULL); 表创建分析 表创建过程概述 服务进程接受SQ
执行器的工作包括：work、get result，之前work的内容已经介绍过了，这里分析下执行器如何拿到执行结果。
CASE1：例如下面函数会使用当前用户执行函数体，如果当前用户对tbl1读权限就可以成功执行。
时间序列数据库(Time Series Database)是用于存储和管理时间序列数据的专业化数据库，具备写多读少、冷热分明、高并发写入、无事务要求、海量数据持续写入等特点，可以基于时间区间聚合分析和高效检索，广泛应用在物联网、经济金融、环境监控、工业制造、农业生产、硬件和软件系统监控等场景。
Dockerfile 最佳实践 本文由Vikings(http://www.cnblogs.com/vikings-blog/) 原创，转载请标明.谢谢！ 写在前面的话 如果要研究和使用Docker，那么一定要使用Dockerfile来build自己的image。但docker的原理限定了image的layer不能太多，因此不能肆意妄为的进行build，一定要控制image的layer数量。同样也要关注image的大小，如果build出来的image动辄就是7,8GB，那么实用性就很差了。因此在参考
PipelineDB是一个PostgreSQL的一个流式数据库，是pg社区的一个扩展。
RSS 是一种描述和同步网站内容的格式，是使用最广泛的 XML 应用。RSS 搭建了信息迅速传播的一个技术平台，使得每个人都成为潜在的信息提供者。发布一个 RSS 文件后，这个 RSS Feed 中包含的信息就能直接被其他站点调用，而且由于这些数据都是标准的 XML 格式，所以也能在其他的终端和服务中使用，是一种描述和同步网站内容的格式。
Greenplum master节点是用来存储元数据的，包括: 序列，表，临时表，分区，函数，视图，类型，操作符，规则，触发器 等。
在PG里面查看表结构，不如mysql那样show create table xx 这样方便。
我们看到多出来一条sql，那么这条sql就是pg为我们展示\d的结果所使用的sql。
Postgresql是开源的，免费的，并且属于关系型数据库。他与mysql一样都依赖于 SQL(结构化查询语言)。
Prometheus：是从云原生计算基金会（CNCF）毕业的项目。Prometheus是Google监控系统BorgMon类似实现的开源版，整套系统由监控服务、告警服务、时序数据库等几个部分，及周边生态的各种指标收集器（Exporter）组成，是在当下主流的监控告警系统。
– 把before for each row的触发器删掉, 再测试插入 : postgres=# drop trigger tg02 on t_ret; DROP TRIGGER postgres=# drop trigger tg2 on t_ret; DROP TRIGGER postgres=# insert into t_ret values(1,’digoal’,now()); NOTICE: 00000: tg01 LOCATION: exec_stmt_raise, pl_exec.c:2840 NOTICE: 00000: tg1 LOCATION: exec_stmt_raise, pl_exec.c:2840 NOTICE: 00000: tg03, after for each row 的触发器函数返回空, 不影响后续的触发器是否被调用. 因为只要表上面发生了真正的行操作, after for each row就会被触发, 除非when条件不满足. (这个后面会讲到) LOCATION: exec_stmt_raise, pl_exec.c:2840 NOTICE: 00000: tg3 LOCATION: exec_stmt_raise, pl_exec.c:2840 NOTICE: 00000: tg04 LOCATION: exec_stmt_raise, pl_exec.c:2840 NOTICE: 00000: tg4 LOCATION: exec_stmt_raise, pl_exec.c:2840 INSERT 0 1 – 有数据插入. 这也说明了before for each statement的返回值为空并不会影响数据库对行的操作. 只有before for each row的返回值会影响数据库对行的操作. postgres=# select * from t_ret ; id | info | crt_time —-+——–+—————————- 1 | digoal | 2013-03-10 16:50:39.551481 (1 row)
图片本文全网唯一源地址产品新闻信息来源：网址基础上整理。时间消息2022-06-16PostgreSQL 14.4 Released!博客动态信息来源：网址作者文章Adam JohnsonHow to Find and Stop Running Queries on PostgreSQLMarco Slot(citusdata)Citus 11 for Postgres goes fully open source, with query from any nodeDavid FetterBeyond th
yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
https://github.com/adam8157/oracle_fdw_greenplum
PostgreSQL 10 版本开始支持逻辑复制，在12版本之前逻辑复制仅支持普通表，不支持分区表，如果需要对分区表进行逻辑复制，需单独对所有分区进行逻辑复制。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
