腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

AustinDatabases

一个研究数据库，坚持不懈的小角色

专栏作者

835

文章

843923

阅读量

58

订阅数

PostgreSQL 数据加密怎么弄，应该用哪种方案

存储加密数据数据库 postgresql

数据库加密这个话题在很多大型企业的数据库安全规范中是有严格的要求的，这里数据库加密可以分为2个部分，实际上3个部分，这里由于其中一个部分在很多情况下并不实用，所以我们这边就不讨论了。

AustinDatabases

2024-03-21

1020

Polardb X-engine 如何服务巨量数据情况下的业务（翻译）- 2

存储翻译服务内存数据

存储布局，上图显示了x-engine的架构，X-Engine 将每个表分成多个字表，并未每个字表维护一个LSM树，关联快照和索引，x-engine中的每个数据库中包含一个重做日志，每个LSM树由一个位于主存储器中的热数据层和一个位于NVM/SSD/HDD的数据处理层组层，热，温，冷不同的数据的层次在系统中存储在不同访问频率的层次中，热数据包含一个活动的内存表和多个不可变的内存表，他们是跳表，用于存储最近插入的记录，并缓冲热记录的缓存，这里不同访问频度的数据已树桩的结构组织数据，树的每个层级的存储有一个排序的extent序列来组织。extent 包含记录快以及关联的过滤器和索引。我们正在探索机器学习技术与数据访问拼读之间的关系。

AustinDatabases

2024-03-12

770

PostgreSQL 2023 Cc大会主题你从未听说过的Postgres 性能优化的小点子

postgresql 存储数据索引性能优化

2023 Postgres Citus Con 主题PostgreSQL performance tips you have never seen before

AustinDatabases

2023-10-09

1430

PostgreSQL 建立一张表到底会产生多少文件

postgresql 存储 toast 数据索引

开头还是介绍一下群，如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, Oceanbase, 等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请联系 liuaustin3 ，在新加的朋友会分到2群（共1350人左右 1 + 2 + 3 + 4） 3群 430 已关闭自由申请，新人会进4群,另欢迎 OpenGauss 的技术人员加入。

AustinDatabases

2023-09-27

1640

数据库信息速度习惯SQL的处理时序数据的人对于时序数据处理应该知道的知识（译）

数据库 sql 存储数据处理数据

每天感悟偶然听到一个刺耳的论断，大多数的动物，雌性都具备保护自己幼崽的能力，智力越低下，越不求回报，在自然界哺乳动物的爱远不及一些冷血动物。

AustinDatabases

2023-09-22

1740

POLARDB IMCI 白皮书云原生HTAP 数据库系统一列式数据是如何存储与处理的

存储数据索引压缩云原生

第四部分将深入介绍列索引存储，这是PolarDB-IMCI处理分析查询的关键部分。PolarDB-IMCI支持高度调优的面向事务处理的云存储的基于行的存储引擎[14, 28]。然而，基于行的数据格式因其无法有效地访问分析查询而闻名。受领先的工业级数据库（例如Oracle [30]、SQL Server [32]）的启发，PolarDB-IMCI通过内存中的列索引实现了双重数据格式，以增强OLAP功能。

AustinDatabases

2023-09-06

1510

POLARDB IMCI 白皮书云原生HTAP 数据库系统一主体架构与接口

存储架构接口索引云原生

3 概述在本节中，我们首先概述PolarDB-IMCI的体系结构，接着总结驱动前面设计目标的设计理念，并简要描述用户界面。 3.1 PolarDB-IMCI的体系结构图2显示了PolarDB-IMCI的体系结构，遵循将计算和存储架构分离的关键设计原则。存储层是一个具有高可用性和可靠性的用户空间分布式文件系统PolarFS [8]。计算层包含多个计算节点，包括用于读写请求的主节点（RW节点）、用于只读请求的多个节点（RO节点）以及多个无状态代理节点用于负载均衡。有了这些，PolarDB-IMCI可以提供高资源弹性性（§7）。此外，存储和计算层中的所有节点都通过高速RDMA网络连接以实现数据访问的低延迟。为加快分析查询速度，PolarDB-IMCI支持在RO节点的行存储上建立内存列索引（§4）。列索引按插入顺序存储数据，并执行位于原位置之外的写操作以实现高效更新。插入顺序意味着列索引中的行可以通过其行ID（RID）而不是主键（PK）快速定位。为支持基于PK的点查找，PolarDB-IMCI实现了一个RID定位器（即两层LSM树）用于PK-RID映射。 PolarDB-IMCI使用一个异步复制框架（§5）进行RO和RW之间的同步。即，RO节点的更新不包含在RW的事务提交路径中，以避免对RW节点的影响。为增强RO节点上的数据新鲜度，PolarDB-IMCI在日志应用方面使用了两个优化，预提交式日志传送和无冲突并行日志重播算法。RO节点通过行存储的REDO日志进行同步，这比其他稻草人方法（例如使用Binlog）对OLTP造成的干扰要小很多。需要注意的是，将物理日志应用到列索引中并不是微不足道的，因为行存储和列索引的数据格式是异构的。每个RO节点中都使用两个相互共生的执行引擎（§6）：PolarDB的常规基于行的执行引擎来处理OLTP查询，以及一个新的基于列的批处理模式执行引擎用于高效运行分析查询。批处理模式执行引擎借鉴了列式数据库处理分析查询的技术，包括管道执行模型、并行运算符和矢量化表达式评估框架。常规基于行的执行引擎通过增强优化可进行列引擎不兼容或点查询。PolarDB-IMCI的优化器自动为两个执行引擎生成和协调计划，此过程对使用者透明。 3.2 设计理念我们以下面突出PolarDB-IMCI的设计理念，这也适用于其他云本地HTAP数据库。存储计算分离。同时作为云本地数据库的关键设计原则，存储计算分离架构在没有数据移动的情况下实现了适应性计算资源配置，这已经成为主流架构的替代方案。PolarDB-IMCI采取此决策以自然地达成我们的设计目标G＃5（高资源弹性）。单个RW节点和多个RO节点。实践中，单写架构已经通过[52] 确认拥有卓越的写性能并显着降低系统复杂性。我们观察到单个RW节点足以为95%的客户提供服务。此外，所有RO节点都具有与RW节点同步的一致数据视图。大型OLAP查询被路由到RO节点上以实现有效的资源隔离，RO节点可以快速扩展以处理激增的OLAP查询，这符合设计目标G＃3（对OLTP的最小干扰）和G＃5（资源弹性）。 RO节点内的混合执行和存储引擎。从OLAP社区的经验中得出，列式数据布局和矢量化的批处理执行对于OLAP查询来说是显著的优化。然而，对我们而言，直接使用现有的列式系统（例如ClickHouse）作为RO节点是不明智的决定。有两个原因支持这个论点。首先，在创建表方面，实现RW节点和RO节点之间的全兼容是耗时的。在云服务环境中，即使存在微小的不兼容性，也会在巨大的客户量下被显著放大并压垮开发人员。其次，纯基于列的RO节点对于被归类为OLTP工作量的点查找查询仍然效率低下。因此，我们开始设计一个扩展PolarDB原始执行引擎的新基于列的执行引擎，以满足目标G＃1（透明度）。列式执行引擎的设计旨在满足G＃2（先进的OLAP性能）。而基于行的执行引擎处理不兼容和点查询，前者无法处理。RO节点具有基于行和基于列的执行和存储引擎。双格式RO节点通过物理REDO日志进行同步。在共享存储架构上，新RO节点可以快速启动以处理激增的只读查询，以满足设计目标G＃5，并可以保持数据新鲜度（即G＃4）通过不断应用RW节点的REDO日志。然而，将异构存储与原始物理日志（即REDO日志）同步是具有挑战性的，因为日志与底层数据结构（例如页面）密切相关。因此，稻草人方法是使RW节点记录用于列存储的附加逻辑日志（例如Binlog）。缺点是，当提交事务时触发额外的fsyncs，从而对OLTP造成非常大的性能干扰。因此，我们专门设计了一种新的同步方法，通过重用REDO并使RO节点上的逻辑操作由物理日志组成。之所以可行是因为PolarDB-IMCI在RO节点上维护基于行的缓冲池和列索引。逻辑操作可以通过在行缓冲池上的应用进程中获得。我们的评估显示，重用REDO日志的开销明显低于使用Binlog。

AustinDatabases

2023-09-06

1380

数据库新闻速递明白3中主流的数据迁移方法 (译)

数据库存储数据迁移迁移数据

基于应用程序的、基于文件的和基于块的迁移都有各自的优点和适用场景。选择正确的解决方案首先要了解它们之间的差异。

AustinDatabases

2023-09-06

2100

REDIS 不单纯的数据库结构

存储数据库 sql hashmap 数据结构

REDIS 本身虽然是一个缓存式数据库，但他在缓存式数据库中并不单纯，REDIS 本身支持很多数据库结构，通过使用不同的数据结构来简化代码提高开发的效率。

AustinDatabases

2023-02-28

2190

POSTGRESQL 存储过程--如何写出新版本PG的存储过程的小案例

存储 postgresql 数据库 sql

1 因为要开发适合目前公司中的基于POSTGRESQL 的运行维护产品，同时基于POSTGRESQL 的数据库有云数据库，基于程序的安全性和部署的便利性，一部分维护的程序应该以存储过程的方式，被部署在数据库中，方便外部程序调用。

AustinDatabases

2023-02-28

9900

Polardb 核心存储 polarfs 是怎么进行数据存储的之核心构造（5）--译

raft 存储数据库 sql 文件存储

分布式存储系统需要一个一致性的协议，去保证所有的 commit 对数据的修改能在不同的情况下，不丢失数据。在设计之初，我们在深刻的考虑部署的复杂性等问题后，我们选择了 raft 协议，然而马上就出现了陷阱。

AustinDatabases

2023-02-26

3200

2023年弄数据库需要做点什么，反思疫情后遗症

云数据库 SQL Server 数据库 sql 存储企业

疫情算是过去了，真的吗？他过去了，但大多数人心里的坎还过不去，昨天回家，家里人给我展示了一堆最近购买的好东西，“各种感冒，发烧” 医治的良药，我一边赔笑着，然后从兜里拿出网上“抢”来的感冒药。

AustinDatabases

2022-12-13

1910

Postgresql IO 对于PG的过去，现在，未来（2 --面临的挑战和解决方案）

云数据库 postgresql postgresql kernel 缓存存储

此文来自于AndresFreund,PG社区资深开发，探讨IO对于PG方面的问题。此翻译和文字来自于视频，因为部分英文听的比较费劲，所以可能有失误的地方，尽请见谅。

AustinDatabases

2022-12-13

3000

MONGODB WiredTiger 页面大小与功能及 wiredTiger 版本与 MONGODB 的关系

存储数据库 mongodb sql 云数据库 MongoDB

使用MONGODB 很多个年头，算是我喜欢的数据库之一，最近在看wriedtiger的内容，偶然问了自己一个问题，wiredTiger 与mongodb的版本之间的关系是什么。

AustinDatabases

2022-12-13

5070

MYSQL POLARDB 学习系列之拆解 POLARDB 7 （终结）失败恢复与可靠性

serverless 存储数据库 sql 云数据库 SQL Server

学习POLARDB 已经有3-4个月的时间了，当然大部分还是在理论方面，实际上POLARDB 在实际的操作中，有一部分是我还没有深入，另一部分是POLARDB 的 SERIVCE guy 的服务方式有些太主观，当然有客观的原因，但是作为一个数据库，想拥有FANS ，各种在内部进行展示的系统性能或一些小心思的开关，还是会吸引到死忠粉的，建议不要冷冰冰的说，这些都是内部XX，或者说你看 monitor web page 来打发一些想“进步” 的同学，终究我们也是看 MYSQL 的文档，并在里面找有意思东西的一群人。另外一些服务的同学，你们这样做，真心是在浪费技术同学的努力创造POLARDB 的好形象。

AustinDatabases

2022-12-13

3030

POSTGRESQL 一个 autovacuum 自控的想法与实现架构

postgresql 编程算法数据库 sql 存储

______________________________________________________________________

AustinDatabases

2022-12-13

3120

数据库你信仰什么-- 我信不给自己打标签（CloudJUMP ）

存储云数据库 SQL Server 数据库 sql 分布式

________________________________________________________________________ 从SQLSERVER，到MYSQL ，在到POSTGRESQL ， MONGODB ，REDIS，数据库变了又变，现在又到了POLARDB ，你是什么数据库的DBA ，还在标签化吗， NO ，这么多年的摸爬滚打，拼的最终是变化和快速的学习的能力。

AustinDatabases

2022-12-13

2700

MYSQL POLARDB 学习系列之拆解 POLARDB 6 Auto-Scaling 与性能优化（翻译）

数据库 sql 云数据库 SQL Server 存储缓存

，最近问 POLARDB 的同学同学是越来越多，准备开一个群，专门和大家一起学习 POLARDB for MYSQL 的数据库相关知识和PG ,MYSQL等数据库，分享相关的经验，和大家相互学习。

AustinDatabases

2022-12-12

6160

Polardb 核心存储 polarfs 是怎么进行数据存储的之核心构造（2）--译

存储数据库 sql 缓存 api

PolarFS 主要由两层组成，一层是存储管理层，上面一层是文件系统元数据和提供文件系统API层，存储层负责所有节点的磁盘资源，并为每个数据库实例提供数据库卷。文件系统层在此基础上提供文件管理，负责文件系统元数据并发访问的互斥。

AustinDatabases

2022-12-12

6180

分布式数据库到底分布在哪里了，优缺点在哪里

存储数据库 TDSQL MySQL 版 sql 分布式

公司技术分为浓重，在众多的兴趣小组里面有一个分布式数据库的小组，本周五需要进分享，是在是惭愧，作为这个小组的 specialist, 啥都没有做，所以赶紧弄弄，要不说啥。

AustinDatabases

2022-12-12

1.8K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态