MOP 不用多说了，我这里指的就是 MySQL、Oracle、PostgreSQL 三种目前最主流的数据库，MOP 系列打算更新 MOP 三种数据库的索引知识、高可用架构及常用 SQL 语句等等，今天打算介绍一下这三种数据库的索引基础知识。
作为学院派的数据库，postgresql在底层的架构设计上就考虑了很多算法层面的优化。其中在postgresql9.6版本中推出bloom索引也是十足的黑科技。
《Postgresql 内幕探索》读书笔记 - 第一章：集簇、表空间、元组 引言 个人建议本章节自己搭建一个Postgresql数据库边实战边阅读更容易理解。 思维导图 图片比较大，这里贴出xmind
PostgreSQL天然集群，多个集群可以组成集簇，有点类似军队的连、团、旅这样的组织规则。对于我们日常学习使用的单节点则是单个集簇单个集群，自己就是集群。
PostgreSQL的统计收集器是一个支持收集和报告服务器活动信息的子系统。 目前，这个收集器可以对表和索引的访问计数，计数可以按磁盘块和个体行来进行。它还跟踪每个表中的总行数、每个表的清理和分析动作的信息。它也统计调用用户定义函数的次数以及在每次调用中花费的总时间。
greenplum Schema 是 Database中逻辑组织object和data。 在同一Database中，不同schema的对象可以使用相同的名称。
数据库的执行计划是SQL优化的最重要手段，执行计划怎么来的、包含什么内容、我们应该关注哪些点，这些是需要我们掌握的，基于这些知识再去理解SQL优化将更加容易。 本文由腾讯云数据库高级架构师何敏带来TDSQL PostgreSQL执行计划详解，以下为分享实录： 在了解PostgreSQL执行计划之前，需要先知道执行计划由来。TDSQL PostgreSQL版任何查询都会经过语法和语义解析，生成查询表达式树，也就是常用查询数，解析器会去解析语法，分析器会把语法对应对象进行展开，通过重写器对规则进行重写，最后生成
Bitmap索引扫描是对索引扫描的一个优化，通过建立位图的方式将原来的随机堆表访问转换成顺序堆表访问。主要分为两点：1）管理每个Bitmap的hash slot没用完时，每个Bitmap代表每个heap页中满足条件元组的ItemIDs，通过Bitmap扫描heap页时需要将所有Bitmap按照页号进行排序，然后依次获取heap页中记录，依次完成顺序回表。2）当hash slot用完时，就需要将heap页的bitmap范围扩大，转换成一个chunk的bitmap，也就是Bitmap中一位代表页内具有满足条件元组的页。此时，整个Bitmaps有chunk的bitmap也有页的bitmap，该chunk的页号为chunk内最小页号，所以Bitmaps排序后，整体上也是有序的。如此完成顺序扫描heap页，只不过对于Chunk的bitmap中一位代表的heap 页需要再次进行条件检测，将满足条件的tuple输出。
PG服务器收到客户端发来的查询后，查询的文本交给解析器。解析器扫描查询并检查它的语法。若语法正确，解析器会将查询文本转换成解析树。解析树是一种以正式、明确的形式表示查询含义的数据结构。给定查询：
简单说，忽略列存储概念，将之认为压缩的行存储。列存储是这个概念的扩展，在下节解释。最基本的磁盘数据结构是B-tree，以TID为索引列。注意，这不是现有的Btree索引，而是独立于表数据存储的另外新Btree。
Postgresql 存在许多特定的索引查询类型，和大部分的Btree为基础架构的关系型数据库一样，在创建索引缺省的时候会把btree作为默认值。
现在MySQL 8和PostgreSQL 10已经发布，现在是重新审视两个主要的开源关系数据库如何相互竞争的好时机。
1、建立逻辑数据模型为第一阶段，包括对应用程序需要处理和存储的信息进行建模，并确保所有必要的数据都能够正确、完整且无歧义地表示。在关系数据库的实现中，这通常是指构造一个标准化的实体-关系(E-R)模型。
索引是增强数据库性能的利器，在检索某些特定行的时候效率会有很大提升，postgresql中索引类型丰富，每种索引有着不同的应用场景，下面简单介绍一下。
这是一个关于POSTGRESQL 查询的优化系列，这已经是这个系列的第八集了，接上期，在OLTP查询中我们需要注意的查询优化的地方非常多，稍不留意就会在一些问题上的操作导致查询的数据逻辑错误。继续上次的问题，在查询中，针对事件的查询问题，我们一般处理的模式
这里的位图是什么参考这一篇：《Postgresql源码（52）bitmapset分析RelationGetIndexAttrBitmap》
数据库索引是优化任何数据库系统性能的关键组成部分。如果没有有效的索引，您的数据库查询可能会变得缓慢且低效，从而导致用户体验不佳并降低生产力。在这篇文章中，我们将探讨创建和使用数据库索引的一些最佳实践。
PG12中索引的存储更加高效，PG13添加索引条目去重功能进一步提升存储效率。PG14将带来“自底向上”的索引条目去除功能，旨在减少不必要的页面分裂、索引膨胀和更新大量索引带来的碎片。
BMP(全称Bitmap)是Window操作系统中的标准图像文件格式，可以分成两类：设备相关位图(DDB)和设备无关位图(DIB)，使用非常广。它采用位映射存储格式，除了图像深度可选以外，不采用其他任何压缩，因此，BMP文件所占用的空间很大。BMP文件的图像深度可选lbit、4bit、8bit、16bit、24bit或者32bit。BMP文件存储数据时，图像的扫描方式是按从左到右、从下到上的顺序。 由于BMP文件格式是Windows环境中交换与图有关的数据的一种标准，因此在Windows环境中运行的图形图像软件都支持BMP图像格式。
任何一个数据库最主要功能之一是可扩展。如果不删除彼此，则尽可能较少锁竞争从而达到这个目的。由于read、write、update、delete是数据库中最主要且频繁进行的操作，所以并发执行这些操作时不被阻塞则显得非常重要。为了达到这种目的，大部分数据库使用多版本并发控制（Multi-Version Concurrency Control）这种并发模型。这种模型能够将竞争减少到最低限度。
参考 https://www.cnblogs.com/lbser/p/3322630.html https://blog.csdn.net/catoop/article/details/111689777
PostgreSql 备份的软件（免费）的有不少，pgrman(之前有一篇写过)， Barman （功能很强大，配置很复杂）。最近大佬微信公众号发布 pg_probackup 功能和ORACLE rman 相差无几。
相信如果提起地理数据的处理，首先想起的数据库就是postgis, 对大名鼎鼎的postgresql + 插件的方式来将POSTGRESQL 变成纯纯的地理数据处理的数据库，这是人尽皆知和童叟无欺的功能。
数据在磁盘上是以块的形式存储的。为确保对磁盘操作的原子性，访问数据的时候会一并访问所有数据块。磁盘上的这些数据块与链表类似，即它们都包含一个数据段和一个指针，指针指向下一个节点（数据块）的内存地址，而且它们都不需要连续存储（即逻辑上相邻的数据块在物理上可以相隔很远）。
作者简介 案例说明 一个大表的COUNT，究竟能有多快？除类似物化视图的做法，我们所能做到的极限能有多快？这不是一个真实的案例，而是根据笔者在网上发的一篇帖子整理而来。通过对一条SQL，采用多种方式持
本文是对两大开源关系型数据库MySQL、PostgreSQL做了详细的对比，欢迎大家在评论区发表自己的见解。
一般实现数据库的并发会采用三种方式，分别是多版本并发控制(MVCC),严格两阶段锁(S2PL),乐观并发控制(OCC).在MVCC中，每个更新操作都会创建新的一个数据版本，并保留旧版本。当事务读取数据对象时候，系统会根据一定的策略选择一个数据版本读取，这样读写都不会互相干扰。基于S2PL的数据库系统在写操作发生时会阻塞相应对象上的读操作，因为写入者获得了操作对象的互斥锁。PostgreSQL采用了基于MVCC的变体，叫做快照隔离级别(SI) 目前Oracle数据使用undo来实现快照隔离级别。当新数据写入
在组件开发迭代的过程中，随着使用时间的增加，数据库中的数据量也不断增加，因此数据库查询越来越慢。
序言 数据库的优化方法有很多种，在应用层来说，主要是基于索引的优化。本次秘笈根据实际的工作经验，在研发原来已有的方法的基础上，进行了一些扩充，总结了基于索引的SQL语句优化的降龙十八掌，希望有一天你能用其中一掌来驯服客服业务中横行的‘恶龙’ 总纲 建立必要的索引 这次传授的降龙十八掌，总纲只有一句话：建立必要的索引，这就是后面降龙十八掌的内功基础。这一点看似容易实际却很难。难就难在如何判断哪些索引是必要的，哪些又是不必要的。判断的最终标准是看这些索引是否对我们的数据库性能有所帮助。具体到方法上，就必须熟悉数
写了600 多篇博客文章后，我以为我已经掌握了cluster命令的复杂性 ，但似乎我还没有，所以现在让我们开始吧。
1、目标SQL的正文、SQL ID和其执行计划所对应的的PLAN HASH VALUE。
位图连接索引（Bitmap Join Indexes）是建立在两个或更多表的连接之上的位图索引。对于表列中的每个值，索引存储被索引表中的相应行的ROWID。相比之下，在标准位图索引中，索引是建立在一个表上的。在数据仓库环境中使用这种索引可以改进连接维度表和事实表的查询性能。创建位图连接索引时，标准方法是连接索引中常用的维度表（Dimension）和事实表（Fact）。当用户在一次查询中结合查询事实表和维度表时，就不需要执行连接，因为在位图连接索引中已经有可用的连接结果。通过压缩位图连接索引中的ROWID可以进一步改进性能，并且减少访问数据所需的I/O数量。位图连接索引，就是将事实表和维度表的ROWID提前进行映射，省去了连接时的开销。
可以使用Postgres Exporter采集PG的各种指标，并将其发送给普罗米修斯。更多详细信息参考：
关系型数据库都需要产生一个最佳的执行计划从而在查询时耗费的时间和资源最少。通常情况下，所有的数据库都会产生一个以树形式的执行计划：计划树的叶子节点被称为表扫描节点。查询节点对应于从基表获取数据。
openGauss实现了向量化执行引擎，达到算子级别的并行。也就是说在执行器火山模型基础上，一次处理一批数据，而不是一次一个元组。这样可以充分利用SIMD指令进行优化，达到指令级别并行。本文关注索引扫描算子CStoreIndexScan，并以btree索引为例。
http://amitkapila16.blogspot.com/2021/07/logical-replication-of-in-progress.html
MySQL和 PostgreSQL 都是建立在 SQL 基础上的领先数据库技术：结构化查询语言。SQL 构成了如何创建、访问、更新以及以其他方式与存储在关系数据库中的数据交互的基础。虽然 MySQL 多年来一直是最受欢迎的平台，但 PostgreSQL 是另一个主要竞争者。许多数据库管理员和开发人员都知道这两种技术，它们的相似之处多于不同之处。
目前非常流行的RDBMS PostgresSQL已经在几周前发布了它的第10个版本。由于Postgres的可靠性、节约成本、成熟，当然还有它的开源，已经21岁的Postgres在开发者之中仍旧非常流行。
随着前端框架的发展成熟以及前后端分离模式的流行，API也正在成为服务端的主要攻击入口；同时由于云原生和微服务架构越来越多的企业接受和采用，API的数量也在急剧暴增； 各种现象和趋势都在表明API越来越重要，我们相信，未来API将在互联网中会占据极其重要地位，尤其是在移动互联网中，不管是企业的内部，还是企业的外部，越来越多的应用、网站、数据都将通过API来进行数据传播，API服务化已经是不可阻挡的趋势。 为此博文视点学院联合安全领域专家、《白帽子讲Web扫描》作者派先生共同推出一堂高质量的API网关技术课——
Web安全的攻防重心在慢慢地向API场景进行转移。 「安全开发能力」作为安全技术进阶的必备技能之一，能够将你的安全想法或技术思路转化为demo、工具、系统，甚至是产品，从而帮助你去验证和解决实际中的问题。 API网关的开发成本并不高，功能和维护的效率也会优于「开源」和「商业」，博文视点学院联合安全领域专家、《白帽子讲Web扫描》作者派先生共同推出一堂高质量的API网关技术课—— 《从0开始打造自己的API网关》 （扫描下方二维码了解专栏详情） 通过本专栏，你不仅能够了解到API网关的设计和原理，还能自由快
在为数据仓库设计的模式模型中，有多种安排模式对象的方法。一个数据仓库模式模型是星型模式。示例模式（本书中大多数示例的基础）使用星型模式。但是，还有其他模式模型通常用于数据仓库。这些模式模型中最流行的是第三范式（3NF）模式。另外，一些数据仓库模式既不是星型模式也不是3NF模式，而是共享这两种模式的特性；这些模式被称为混合模式模型。
这些配置参数提供了影响查询优化器选择查询规划的原始方法。如果优化器 为特定的查询选择的缺省规划并不是最优，那么我们就可以通过使用这些 配置参数强制优化器选择一个更好的规划来temporary解决这个 问题。不过，永久地关闭这些设置几乎从不是个好主意。更好的改善优化器 选择规划的方法包括调节Section 18.6.2、 更频繁运行ANALYZE、增大配置参数 default_statistics_target的值、使用 ALTER TABLE SET STATISTICS为某个字段增加收集的 统计信息。 这些配置参数影响查询优化器选择查询计划的暴力方法。如果优化器为一个特定查询选择的默认计划不是最优的，一种临时解决方案是使用这些配置参数之一来强制优化器选择一个不同的计划。提高优化器选择的计划质量的更好的方式包括调整规划器的代价常数（见Section 19.7.2）、手工运行ANALYZE、增加default_statistics_target配置参数的值以及使用ALTER TABLE SET STATISTICS增加为特定列收集的统计信息量。
全文搜索（FTS）是搜索引擎用于在数据库中查找结果的技术。它可用于为商店，搜索引擎，报纸等网站上的搜索结果提供支持。
在不知道如何运行某个数据库的情况下，请不要在该数据库上运行基准测试。本篇案例很好的解释了原因。
PostgreSQL是学术派的数据库，这体现在它架构设计的方方面面，例如多表连接动态规划、改进的内存置换时钟扫描算法、空间索引等，PG甚至将优化器的各类代价因子放开成参数供我们调整，这真是很开放的举动。
以上是在大数据处理方面常用的四种技术原理， 上面这些处理数据的方式极大程度的提高了单位时间内数据处理的能力， 但是其还是没有摆脱数据量和查询时间的线性关系。 于是在OLAP处理方式上， 我们多了一种：
作者介绍：黄辉，目前在腾讯云数据库团队从事后台开发工作，喜欢研究分布式数据库相关技术。 导语 PostgreSQL是通过MVCC(Multi-Version Concurrency Control)
MySQL覆盖索引（Covering Index）是一种索引类型，它的特点是索引包含了查询所需要的数据，从而避免了对数据的直接查找。通过使用覆盖索引，MySQL可以仅通过索引信息来满足查询条件，而不需要进一步访问数据表，这可以大大提高查询性能。
PostgreSQL为每个收到的查询设计一个查询规划。选择正确的匹配查询结构和数据属性的规划对执行效率是至关重要要的，所以系统包含一个复杂的规划器来试图选择好的规划。你可以使用EXPLAIN命令查看查询规划器创建的任何查询。阅读查询规划是一门艺术，需要掌握一定的经验，本节试图涵盖一些基础知识。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
