上一篇:TBase Quick Start (请点击文章底部“阅读原文”查看) 介绍了TBase的架构,源码的编译安装,集群运行状态、启动停止等。本篇将介绍应用程序如何连接TBase数据库进行建库、建表、数据导入、查询等操作。 TBase兼容所有支持Postgres协议的客户端连接,这里将详细介绍JAVA、C语言、shell语言、Python、PHP、Golang 这6种最常用的开发语言连接TBase的操作方法。 1、JAVA开发 1.1、创建数据表 import java.sql.Connection;
写这篇文章的目的主要是记录 在 容器/istio 下如何使用一些手段和工具来排查错误。
Compose是一个用来定义和运行多容器Docker应用的工具。使用Compose的时候,你可以使用一个YAML文件来配置你应用的服务。然后根据配置,使用一个命令即可创建并运行所有的服务。
gpinitsystem 的日志文件。默认路径为 ~/gpAdmin/gpinitsystem_***
https://www.citusdata.com/blog/2022/03/26/test-drive-citus-11-beta-for-postgres/
腾讯TBase是一款腾讯自研高性能HTAP数据库,提供高性能的OLTP和OLAP能力,同时保证可扩展全局一致性分布式事务(ACID),为用户提供高一致性的分布式数据库服务和高性能的数据仓库服务。一方面解决了传统数据库扩展不足、数据sharding之后数据库事务的严格一致性难题、数据安全、跨地域容灾等问题,同时具备了高性能事务处理、数据治理、混合负载支持等能力。 在OLTP方面,TBase采用MVCC+全局时钟+2PC+SSI的方式来实现全局一致性分布式事务,同时引入大量性能优化的设计来减少全局事务带来的开
什么是TBase TBase是一个提供写可靠性,多主节点数据同步的关系数据库集群平台。你可以将TBase配置一台或者多台主机上,TBase数据存储在多台物理主机上面。数据表的存储有两种方式, 分别是distributed或者replicated ,当向TBase发送查询 SQL时,TBase会自动向数据节点发出查询语句并获取最终结果。 TBase采用分布式集群架构(如下图), 该架构分布式为无共享(share nothing)模式,节点之间相应独立,各自处理自己的数据,处理后的结果可能向上层汇总或在节点间
GlobalTransactionManager(简称 GTM), 是全局事务管理器,负责全局事务管理。GTM 上不存储业务数据。
这几天疫情爆发,只能待在家里为社会多做些贡献,一天深夜无意逛安全资讯的时候发现最新的一个漏洞:CVE-2020-7471 Potential SQL injection via StringAgg(delimiter)。漏洞是 django 的,于是我将漏洞编号拿到 google 查找了一番,发现并没有找到任何关于这个漏洞的详细说明和利用 POC,于是我动手写下了这篇文章。
异常信息:Get http://192.168.90.177:9100/metrics: context deadline exceeded 问题原因: 有可能是系统端口未开放。 解决办法:指定其他端口或者更改防火墙访问策略。
最近公司业务需求,需要使用Postgres-XL 集群,关于这部分知识,网络资料不多。经过一段时间的查询,和各种弯路之后,终于完成安装。将详细步骤完整记录,以备查阅。也希望能帮到需要的人。
基本上大部分数据库都有定时任务,最近开发问我PostgreSQL 要做定时任务,有的存储过程要在夜间去和financial 的 服务器来交互。我的第一个反应就是用LINUX 的定时任务不就可以了,但这个程序员提出 SQL SERVER ORACLE 都有定时任务,postgresql 也应该有吧。所以就有了这篇文字
📷 官方手册:https://docs.citusdata.com 📷 脑图大纲 入门 什么是Citus? Citus 可以扩展多远? 何时使用 Citus 多租户数据库 实时分析 使用注意事项 何时 Citus 不合适 快速教程 多租户应用程序 数据模型和示例数据 创建表 分发表和加载数据 运行查询 实时分析 数据模型和样本数据 创建表 分发表和加载数据 运行查询 安装 单节点 Citus Docker (Mac 或 Linux) Ubuntu 或 Debian Fedora, CentOS, 或 Re
Pgpool 是一个高性能的连接池和负载均衡器,用于 PostgreSQL 数据库。Pgpool 可以作为中间层,位于客户端和 PostgreSQL 服务器之间,来管理连接请求并分配给不同的 PostgreSQL 服务器进行处理,以提高整体的系统性能和可用性。Pgpool 的一些主要功能包括:
Postgres-XL 是一款Postgres-XC升级的产品, 如果说PGXC是在PG添加了集群的功能主打OLTP的功能为卖点, PGXL 是一款基于PGXC添加了OLAP功能的支持MPP架构的, 但不是简单的POSTGRESQL 单机的功能的堆叠,本身基于的是PG早期的9.5 ,目前最新的版本是Postgres-XL 10R1.1 的版本。
视图(View)本质上是一个存储在数据库中的查询语句。视图本身不包含数据,也被称为虚拟表。 我们在创建视图时给它指定了一个名称,然后可以像表一样对其进行查询。
关于PostgreSQL与PostGIS使用,可参看《PostgreSQL与PostGIS的基础入门》。本篇文章主要介绍如何实现本地与远程登陆,并对其认证方式进行总结。
Sequelize 是一个基于 promise 的 Node.js ORM, 目前支持 Postgres, MySQL, MariaDB, SQLite 以及 Microsoft SQL Server. 它具有强大的事务支持, 关联关系, 预读和延迟加载,读取复制等功能.
第二步:pg_basebackup -Fp -P -x -D ~/app/data/pg_root21 -l basebackup21
8.2 Node Exporter for Prometheus Dashboard 19
多年来,物化视图一直是Postgres期待已久的功能。他们最终到达了Postgres 9.3,尽管当时很有限。在Postgres 9.3中,当刷新实例化视图时,它将在刷新时在表上保持锁定。如果您的工作量是非常繁忙的工作时间,则可以工作,但是如果您要为最终用户提供动力,那么这将是一个大问题。在Postgres 9.4中,我们看到了Postgres实现了同时刷新实例化视图的功能。现在,我们已经完全烘焙了物化视图的支持,但即使如此,我们仍然看到它们可能并不总是正确的方法。
但是,之前的文章中没有介绍有关pgpoolAdmin的知识,这款针对pgpool开发的web界面工具,还是比较实用的。
1)使用psycopg2-2.4.2.win-amd64-py2.7-pg9.0.4-release.exe安装,下载地址:http://vdisk.weibo.com/s/Cd8pPaw56Ozys
从GPDB5升级到GPDB6时,遇到以往可以执行的SQL不能执行了。报错:PlaceHolderVar found where not expected!语法不兼容了?
Pgpool-II是一个在PostgreSQL服务器和PostgreSQL数据库客户端之间工作的中间件。它是根据BSD许可证授权的。它提供以下功能。
随着k8s的成熟,在k8s上使用ingress-nginx、traefik、apisix等各类ingress的人也越来越多。ingress-kong也可以作为k8s的ingress使用,当然kong也可以单独作为微服务的gateway网关来使用。
扩展能够扩展,更改和推进Postgres的行为。怎么样?通过挂钩到低级的Postgres API挂钩。可以水平扩展Postgres的开源Citus数据库本身是作为PostgreSQL扩展实现的,这使Citus可以与Postgres版本保持最新,而不会像其他Postgres fork那样落后。尽管我想更深入地研究最有用的Postgres扩展:pg_stat_statements,但我之前已经写过各种扩展类型。
工作中可能会存在业务比较复杂,重复性工作比较多,需要批量处理数据的情况,此时使用存储过程会方便很多,存储过程的执行效率也会快很多,能帮助我们节省很多代码和时间。
本文记录下部署sentry和其中遇到的问题 Sentry 是一款基于 Django实现的错误日志收集和聚合的平台,它是 Python 实现的,但是其日志监控功能却不局限于python,对诸如 Node.js, php,ruby, C#,java 等语言的项目都可以做到无缝集成,甚至可以用来对iOS, Android 移动客户端以及 Web前端异常进行跟踪。我们可以在程序中捕获异常,并发送到 Sentry服务端进行聚合统计、展示和报警。 环境安装 请先安装 Docker 1.10+ yum in
第二次执行时不再提示输入yes,并且可以成功执行命令,则表示SSH对等性配置成功。
PG流复制场景下,默认配置下, 如果在PG从库执行长时间的查询,会出现查询的报错。提示
集群启动并运行后,您可以访问我们关于多租户应用程序或实时分析的教程,在几分钟内开始使用 Citus。
这种情况下,连接实际发生在WHERE子句中。在FROM子句中,只需要列出JOIN的表。另一种显式连接:
通过Rancher Kubernetes Engine运行高可用 PostgreSQL
PostgreSQL作为传统关系型数据,在设计架构上和Oracle非常相似,下图可以带给你直观的了解。
这里假设,你已经在 k8s 上部署好了基于 Citus 扩展的分布式 PostgreSQL 集群。
Quantum Espresson (以下简称 QE)是一款基于平面波函数的开源第一性原理计算框架,其免费、易安装使用等优点受到了广大第一性原理计算研究人员的喜爱。QE 不仅支持 CPU 的并行高性能计算,还支持 GPU 计算。这看起来有点像是计算机专业里的深度学习框架,有完整的计算加速支持。另外,QE 与 VASP 的使用习惯类似度比较高,不管是输入文件还是赝势文件,都可以类比着使用。对于计算后的输出结果,QE 也有一套完整的工具链辅助用户完成一些常用的分析操作,比如寻找 k 路径、分析能带结构(Band Gap)等等。
promscale 是一个开源的可观察性后端,用于由 SQL 提供支持的指标和跟踪。
如果大家熟悉PG的发布与订阅的话,那么对于本文理解应该很有帮助。接下来我们来看下分布式数据库TBase如何做多个实例或多个库之间的数据同步多活的。 在业务场景中我们经常可能会用到某一部分数据,但数据源头又是来自多个库的入库数据,比如我希望南区的A实例的某个库或表的数据能够汇集到北区B实例的某个库或者某个表中,只要A库中的数据的增删改的变化,能够即时的同步到B库,但B库的操作对不会影响A库。接下来我们就动手来看下TBase 的数据多活发布订阅。
分享一下之前用到的tbase/pg命令, 主要是和mysql/oracle差别太大了. 做个记录, 方便后面看.
通过这个 Node.js 和 MySQL 示例项目,我们将看看如何有效地处理 数十亿行 占用 数百GB 存储空间的数据。
REPMGR 是一种方便简单的适合企业使用的高可用方式,为什么选择REPMGR作为单体PG的高可用方式
启动OushuDB有两种方式,一种是通过”hawq start cluster”命令来启动整个集群,包括master和segment。启动哪些segment是由”/hawq-install-path/etc/slaves”中包含的节点确定的。
当 Node.js Server 项目越来越大时,将数据和数据库整理规范是很难的,所以从一开始就有一个好的开发和项目设置,对你的开发项目的成功至关重要。在这篇文章中,向你展示是如何设置大部分 Nest.js 项目的,我们将在一个简单的 Node.js API 上工作,并使用 PostgreSQL 数据库作为数据存储,并围绕它设置一些工具,使开发更容易上手。
我帮我朋友搭建了一个Wiki.js,过程中也遇到了不少问题,这边写一篇文章总结一下吧
前面的文章介绍了postgresql基于repmgr的高可用及切换方案,这篇文章主要聊聊通过repmgrd实现failover及auto failover。
官网:https://www.pgpool.net/mediawiki/index.php/Main_Page
本教程手把手教你搭建一套使用 Node.js + Express + Sequelize + MySQL 构建的后端服务,详细描述通过 Node.js 与数据库通讯。整个服务搭建起来后,我们使用 Postman 对整个后端服务进行测试。本教程每段代码我都亲手测过,保证百分百没有错误,请打开你的 terminal 跟随本教程一起操作,从这里开始,成为一名后端工程师。
领取专属 10元无门槛券
手把手带您无忧上云