我们在Cloudflare的一个大规模数据基础架构挑战是为我们的客户提供HTTP流量分析。我们所有客户都可以通过两种方式使用HTTP分析：
现在MySQL 8和PostgreSQL 10已经发布，现在是重新审视两个主要的开源关系数据库如何相互竞争的好时机。
arr_arr_num类型的元素中的任意一个位置，都可以保存arr_num类型，无论arr_num类型中有几个元素。
作者 ｜ Dane Avilla 译者 ｜ 刘雅梦 策划 ｜ 田晓旭 娱乐业一直在努力应对 COVID-19 对全球制作的影响冲击。自 2020 年初以来，Netflix 一直在迭代开发系统，以向内部利益相关方和企业领导者提供有关疫情最新信息的最新工具和仪表盘。这些软件解决方案使得管理层可以就给定的实体产品是否以及何时能够安全地开始在全球范围内创建引人注目的内容而做出最明智的决策。在 Netflix Studio Engineering 内部，一种备受关注的方法是将 GraphQL 微服务（GQLMS）作为
postgres不知不觉已经升到了版本13,记得两年前还是版本10，当然这中间一直期望着哪天能在项目中使用postgresql，现在已实现哈～； 顺带说一下：使用postgresql 的原因是它的生态完整，还有一个很重要的点儿是 速度快 这个在第10版的时 这么说也许还为时过早， 但是在13这一版本下一点儿也不为过,真的太快了，我简单的用500w的数据做聚合，在不建立索引(主键除外)的情况下 执行一个聚合操作，postgres 的速度是mysql的8倍，真的太快了～；好了，这一章节我就聊一聊我实际碰到的问题，就是：跨库查询，这里是用mysql_fdw实现的。
作者：陈之炎 本文约5500字，建议阅读15分钟本文对利用MADlib项目来创建一个框架，以满足大规模数据量的需求。 随着数据规模的不断扩大，目前，许多现有的分析解决方案都无法胜任大规模数据量的计算任务。利用MADlib项目来创建一个框架，以满足大规模数据量的需求，该框架旨在利用现代计算能力，提供适应业务需求的强大解决方案。 概述 MADlib实现方案来自商业实践、学术研究和开源开发社区的多方面努力，它是一个基于SQL的数据库内置的可扩展的开源机器学习库，由Pivotal与UCBerkeley合作开发。MA
这几天疫情爆发，只能待在家里为社会多做些贡献，一天深夜无意逛安全资讯的时候发现最新的一个漏洞：CVE-2020-7471 Potential SQL injection via StringAgg(delimiter)。漏洞是 django 的，于是我将漏洞编号拿到 google 查找了一番，发现并没有找到任何关于这个漏洞的详细说明和利用 POC，于是我动手写下了这篇文章。
平台运营到一定阶段，一定会累积大批量的用户数据，这些用户数据是运营人员的黄金财产。而如何利用用户的数据来做运营（消息推送、触达消息、优惠券发送、广告位等），正是精准运营系统需要解决的问题。本文是基于信贷业务实践后写出来的，其它行业如保险、电商、航旅、游戏等也可以参考。
学习PG聚合操作机制时，看到ExecInitAgg中初始化时有对AggState中有pergroups等进行初始化[AggState的解释见上一篇：GreenPlum7聚合操作结构体之间关系
在获得一些新的问题中，关于子事务的问题是我第一个想在 review的，关于子事务，首先在PG中一直被强调的子事务性能不是很好的口碑下，到底为什么还会有使用的子事务的情况，这是因为有着方面的需求。
至于Mysql大家都很熟悉，很多公司因为人才储备和数据量大的原因，一般是Hadoop+Mysql的模式，Hadoop计算大量原始数据，然后按维度汇总后的展示数据存储在Mysql上，但是Mysql也有很多的“坑”：比如著名的Emoji表情坑，由此引申出来的utf8mb4的坑（隐式类型转换陷阱），性能低到发指的悲观锁机制，不支持多表单序列中取 id，不支持over子句，几乎没有性能可言的子查询........有点罄竹难书的意思，更多的“罪行”详见：见鬼的选择：Mysql。而这些问题，在PostgrelSQL中得到了改善，本次我们在Win10平台利用Docker安装PostgrelSQL，并且初步感受一下它的魅力。
作者 | Jon Udell 译者 | 明知山 策划 | 丁晓昀 渗透测试人员、合规性审计员和其他 DevSecOps 专业人员花了大量时间编写脚本来查询云基础设施。人们喜欢用 Boto3（Python 版 AWS SDK）来查询 AWS API 并处理返回的数据。 它可以用来完成简单的工作，但如果你需要跨多个 AWS 帐户和地区查询数据，事情就变得复杂了。这还不包括访问其他主流云平台（Azure、GCP、Oracle Cloud），更不用说 GitHub、Salesforce、Shodan、Sl
一个OushuDB集群管理着多个数据库（database），每个数据库又包含多个模式（schema）, 一个模式包含多个对象（表，视图，函数等），所以这些对象之间的层级结构为：
Sentry 是一款基于 Django实现的错误日志收集和聚合的平台，它是 Python 实现的，但是其日志监控功能却不局限于python，对诸如 Node.js, php,ruby, C#,java 等语言的项目都可以做到无缝集成，甚至可以用来对iOS, Android 移动客户端以及 Web前端异常进行跟踪。我们可以在程序中捕获异常，并发送到 Sentry服务端进行聚合统计、展示和报警。sentry官方推荐docker方式安装，使用到了docker-compose。docker至少是1.10.3以上的版本。为此需要使用centos7。
本文记录下部署sentry和其中遇到的问题 Sentry 是一款基于 Django实现的错误日志收集和聚合的平台，它是 Python 实现的，但是其日志监控功能却不局限于python，对诸如 Node.js, php,ruby, C#,java 等语言的项目都可以做到无缝集成，甚至可以用来对iOS, Android 移动客户端以及 Web前端异常进行跟踪。我们可以在程序中捕获异常，并发送到 Sentry服务端进行聚合统计、展示和报警。 环境安装 请先安装 Docker 1.10+ yum in
一个数据库包含多个模式（schema），而一个模式可以包含多种命名对象，比如表，数据类型，函数，操作符等。同一个对象名字可以用在不同的模式中而不产生冲突。比如schema1中可以包含表test，schema2中也可以同时包含名字为test的表。从这个意义上，模式很像一个命名空间（namespace）。
最近在了解国外Firebolt这家公司，对于Firebolt 最初的架构选型和思路是非常认可的。Firebolt 这篇 Paper 核心围绕着这样一个主题：在云数仓领域，对于一家初创公司，如何在人力和资源有限的情况下，怎么能够快速的切入这个这个市场？虽然 FireBolt 本身就有很多技术大牛（比如 Mosha Pasumansky），但是针对数据库所有组件（查询优化器、计算引擎、存储、事务管理器等等）完全从零做，对于初创公司而言，根本不现实。
django.contrib.postgres.aggregates.StringAgg聚合函数使用适当设计的定界符进行了SQL注入。
📷 官方手册：https://docs.citusdata.com 📷 脑图大纲 入门 什么是Citus？ Citus 可以扩展多远？ 何时使用 Citus 多租户数据库 实时分析 使用注意事项 何时 Citus 不合适 快速教程 多租户应用程序 数据模型和示例数据 创建表 分发表和加载数据 运行查询 实时分析 数据模型和样本数据 创建表 分发表和加载数据 运行查询 安装 单节点 Citus Docker (Mac 或 Linux) Ubuntu 或 Debian Fedora, CentOS, 或 Re
kubernetes底层yaml也是这个库，但是自己又封装了 sigs.k8s.io/yaml, 再往上又定义了kustomize
PostgreSQL，通常简称为Postgres，是一种开源的通用对象 - 关系数据库管理系统。 PostgreSQL具有许多高级功能，如在线备份，即时恢复，嵌套事务，SQL和JSON查询，多版本并发控制（MVCC），异步复制等。
colly 是 Golang 的优雅爬虫和爬虫框架。 该项目提供了一个清晰的接口，用于编写任何类型的爬虫/抓取器/蜘蛛。Colly 可以轻松从网站中提取结构化数据，可用于数据挖掘、数据处理或存档等各种应用。 其主要功能和核心优势包括：
今天看了一下PostgreSQL row_number的实现过程。之前一直好奇窗口函数是什么，原理是什么，今天稍稍解惑。下面就以row_number为例进行介绍： 窗口函数：
假如你是一个初创公司的 CTO，想迅速推出一款面向 AP 市场可用的数据库产品，还得有差异化的功能（不然谁会用一个新产品），你会怎么做呢？
PipelineDB是一个PostgreSQL的一个流式数据库，是pg社区的一个扩展。
对于事务系统来说，内层函数、外层函数都在一个事务中，内层提交就等于把事务提交了，所以外层数据也在。
1.在/bin/bash脚本内使用expect命令格式如下 示例： #!/bin/bash expect <<! #在bash脚本中嵌套 expect 命令以 <<! 开始 此处为expect命 #中间为需要执行的 expect 命令 ! #在bash脚本中嵌套 expect 命令以 ！ 结束 2.一个简单的脚本嵌套expect例子 #!/bin/bash d1=$(date "+%Y-%m-%d") /bin/expect <<! #expect命令的
RSS 是一种描述和同步网站内容的格式，是使用最广泛的 XML 应用。RSS 搭建了信息迅速传播的一个技术平台，使得每个人都成为潜在的信息提供者。发布一个 RSS 文件后，这个 RSS Feed 中包含的信息就能直接被其他站点调用，而且由于这些数据都是标准的 XML 格式，所以也能在其他的终端和服务中使用，是一种描述和同步网站内容的格式。
在本教程中，我们将基于 kustomize/postgres 中提供的示例进行构建。
Greenplum master节点是用来存储元数据的，包括: 序列，表，临时表，分区，函数，视图，类型，操作符，规则，触发器 等。
数据库是许多网站和应用程序的关键组成部分，是数据在互联网上存储和交换的核心。数据库管理最重要的一个方面是从数据库中检索数据的做法，无论是临时基础还是已编码到应用程序中的过程的一部分。有几种方法可以从数据库中检索信息，但最常用的方法之一是通过命令行提交查询来执行。
时间序列数据库(Time Series Database)是用于存储和管理时间序列数据的专业化数据库，具备写多读少、冷热分明、高并发写入、无事务要求、海量数据持续写入等特点，可以基于时间区间聚合分析和高效检索，广泛应用在物联网、经济金融、环境监控、工业制造、农业生产、硬件和软件系统监控等场景。
PostgreSQL是一个功能强大的开源数据库系统。经过长达15年以上的积极开发和不断改进，PostgreSQL已在可靠性、稳定性、数据一致性等获得了业内极高的声誉。PostgreSQL是完全的事务安全性数据库，完整地支持外键、联合、视图、触发器和存储过程（并支持多种语言开发存储过程）。它支持了大多数的SQL:2008标准的数据类型，包括整型、数值型、布尔型、字节型、字符型、日期型、时间间隔型和时间型，它也支持存储二进制的大对像，包括图片、声音和视频。PostgreSQL对很多高级开发语言有原生的编程接口，作为一种企业级数据库，PostgreSQL以它所具有的各种高级功能而自豪，像多版本并发控制(MVCC)、按时间点恢复(PITR)、表空间、异步复制、嵌套事务、在线热备、复杂查询的规划和优化以及为容错而进行的预写日志等。它支持国际字符集、多字节编码并支持使用当地语言进行排序、大小写处理和格式化等操作。它也在所能管理的大数据量和所允许的大用户量并发访问时间具有完全的高伸缩性
2月3日，Django 官方发布安全通告公布了一个通过StringAgg（分隔符）实现利用的潜在SQL注入漏洞（CVE-2020-7471）。攻击者可通过构造分隔符传递给聚合函数contrib.postgres.aggregates.StringAgg，从而绕过转义并注入恶意SQL语句。
最近，shuttle 发布了新的 Node.js CLI 包，允许用户快速引导由 Next.js 前端加 Axum 后端（一种流行的 Rust Web 框架，以易于上手、语法简单著称）开发的应用程序。
https://www.citusdata.com/blog/2022/03/12/how-to-benchmark-performance-of-citus-and-postgres-with-hammerdb/
此文来自于AndresFreund,PG社区资深开发，探讨IO对于PG方面的问题。此翻译和文字来自于视频，因为部分英文听的比较费劲，所以可能有失误的地方，尽请见谅。
SQL是描述性语言，对于执行过程没有要求。所以SQL的执行过程是可以充分发挥想象力的：
python通过open方式读取文件数据，再通过load函数将数据转化为列表或字典；
首先需要对Oracle和PostgreSQL的SQL都比较熟悉。对其理解的越详细就越具有优势，本文帮助读者迅速理解这两类SQL的区别是什么。
PostgreSQL 10 版本开始支持逻辑复制，在12版本之前逻辑复制仅支持普通表，不支持分区表，如果需要对分区表进行逻辑复制，需单独对所有分区进行逻辑复制。
如果你装好某款数据库产品，比如：分布式图数据库 NebulaGrpah，跃跃欲试的第一步是不是就让它干活搞数据呢？好的，现在问题来了，如何把相对原始的数据处理、建模并导入 NebulaGraph 呢？本文是一个端到端的示例演示，从多数据源聚合数据，清理、利用 dbt 转换成 NebulaGraph 建模的属性图点边记录，最后导入成图谱的全流程。
这样就可输出 nginx服务8080端口所绑定的公共端口。 6. ps 列出所有容器。示例
这里假设，你已经在 k8s 上部署好了基于 Citus 扩展的分布式 PostgreSQL 集群。
Django 1.11.28之前的1.11.x、2.2.10之前的2.2.x和3.0.3之前的3.0.x版本允许SQL注入，如果不受信任的数据用作StringAgg分隔符（例如，在存在多行数据下载的Django应用程序中，使用用户指定的列分隔符进行下载的场景）。通过向contrib.postgres.aggregates.StringAgg实例传递一个精心构造的分隔符，可能会破坏转义并注入恶意SQL。
通过聚合，我们可以得到一个数据的概览，它是分析和总结全套的数据，而不是寻找单个文档。
PostgreSQL是一款功能非常强大的开源关系型数据库，它支持哈希索引、反向索引、部分索引、Expression 索引、GiST、GIN等多种索引模式，同时可安装功能丰富的扩展包。相较于Mysql，PostgreSQ支持通过PostGIS扩展支持地理空间数据、支持嵌套循环，哈希连接，排序合并三种表连接方式等一系列的强化功能。本文主要整理总结了30个实用SQL，方便大家可以高效利用PostgreSQL。
promscale 是一个开源的可观察性后端，用于由 SQL 提供支持的指标和跟踪。
ES本身不支持SQL数据库的join操作，在ES中定义关系的方法有对象类型、嵌套文档、父子关系和反规范化。
领取专属 10元无门槛券
手把手带您无忧上云
