腾讯云数据库TDSQL PG版(原TBase）分布式关系型数据库是一款面向海量在线实时分布式事务交易高性能数据库系统。面对应用业务产生的不定性数据爆炸需求，无论是高并发的交易还是海量的实时数据分析，TDSQL PG版都有足够能力处理。 在此基础上构造发行了具有功能更丰富、稳定性更好、兼容性更广、安全性更高、性能更强、扩展性极好的分布式数据库TDSQL PG版产品。本文由腾讯云数据库高级工程师谢灿扬先生带来分享，主要介绍企业级产品TDSQL PG版在分布式全局事务，数据安全，成本优化，复杂查询性能等方面做的工
网上对这些数据库介绍有些误导，流传各种说法，比如:流传OB基于MySQL、GaussDB 200/300 和openGauss有啥区别，没办法谁让当前国产数据库太多...
本文由Ceph中国社区-穆艳学翻译、刘源校稿，英文出处：Red_Hat_Ceph_Storage-2-Ceph_Object_Gateway_for_Production 欢迎加入CCTG 目录 第1章 简介 1.1.适用人群 1.2.前题假设 1.3.涵盖内容 第2章 集群规划 2.1.识别应用场景 2.2.选择数据持久化方法 2.3.考虑多站点部署 第3章 硬件考虑 3.1.存储规模 3.2.存储密度 3.3.网络硬件 3.4.UPS 3.5.依业务场景的硬件选型 3.6.存储桶索引使用SSD 3.7
PostgreSQL是一个功能强大的开源对象关系型数据库系统，他使用和扩展了SQL语言，并结合了许多安全存储和扩展最复杂数据工作负载的功能。PostgreSQL的起源可以追溯到1986年，作为加州大学伯克利分校POSTGRES项目的一部分，并且在核心平台上进行了30多年的积极开发。
ceph是模块化和可扩展的，并且有容错设计。先进的分布式存储系统。 ceph凭借其高可扩展性、高可靠性、高性能的特点，逐渐成为openstack\cloudstack、opennebula等主流开源云平台后端存储的首选。可靠性、自平衡、自恢复、一致性 软件定义存储。 可以大幅降低企业存储基础设施的成本。 分布式、可大规模扩展，经济 虚拟平台KVM、VMWARE也支持ceph ceph存储介绍 ceph部署实战 ceph架构和组件 ceph内部构建 ceph部署 ceph存储配置 ceph操作及管理 监控ceph集群 ceph与openstack集成 ceph性能调优和基准测试 1、ceph是什么 ceph是一个开源项目，它提供软件定义的、统一的存储解决方案。ceph可大规模扩展、高性能并且无单点故障的分布式存储系统。容量可扩展至EB级别。1EB=1024PB
近期，2022 WOT全球技术创新大会在北京圆满落幕。今年的WOT大会是51CTO为中国技术社区精心打造的WOT 2.0升级版，纵览全球最新技术趋势，紧跟国家重点技术战略方向，邀请各行业顶尖技术领袖把脉未来，深度分享独家技术干货。 随着云计算时代的到来，越来越多的行业正面临新型企业级信息化以及快速实现国产化的转型升级需求。凭借高性能、可扩展、高可用等特性，分布式数据库正在成为各行业数字化转型的重要支撑。腾讯云数据库专家团携企业级分布式数据库TDSQL亮相WOT《分布式数据库前沿技术》专场，分享腾讯云数据库在
读写分离，作为一种常用的数据库访问优化手段，得到广泛的应用。本文尝试从读写分离的技术实现、适用场景及典型产品等角度，阐述这一技术的整体现状。
以下是我们的Core Elasticsearch：Operations课程中的一些很棒的幻灯片，它们有助于解释分片分配的概念。 我们建议您更全面地了解这一点，但我会在此提供我们培训的概述：
1：黄色，表示所有的主分片均可用，但存在不可用副本分片。此时，搜索结果仍然是完整的，但集群的高可用性在一定程度上受到影响，一般会自动恢复。
从以开始就一直在尝试对WAL进行不同级别的压缩。自2016年以来内置功能（wal_compression）就一直存在，几乎所有备份工具都会在传递到备机前对WAL进行压缩。但现在是时候再看看内置的wal_compression功能了。因为PG15提供了更多功能。如果我们将其与PG15中WAL归档的其他重大改进相结合，将会有相当大的收益，如之前贴子PG15中的新WAL归档模块/库：
es 集群的磁盘存储过小的话，常常会遇到磁盘存储超90%，甚至100%。此时就需要清理一部分过期的数据释放磁盘空间，或者扩容磁盘容量。
在当今世界，各行各业每天都有海量数据产生，为了从这些海量数据中获取想要的分析结果，需要对数据进行提取、转换，存储，维护，管理和分析。 这已然远远超出了普通处理工具、数据库等的实现能力，只有基于的分布式架构和并行处理机制的大数据工具所才能实现这些功能。Elasticsearch是响应如前所述大多数用例的最热门的开源数据存储引擎之一。
2020年11月24日，国际知名行业研究机构Gatner公布2020年全球云数据库魔力象限评估结果，阿里云首次挺进全球云数据库第一阵营--领导者（LEADERS）象限。Gatner分析师评价道：阿里云产品上具备强大的创新能力，其数据库PolarDB已全面应用于零售，电信，物流，金融等多个行业。在云原生关系型数据库领域PolarDB的全球部署能力，分析师认为达到了国际领先水平。
文档中涉及到的所有 DSL 命令，都可以通过 kibana 的 dev tools 执行
这篇博客文章是CDP中Cloudera的操作数据库（OpDB）系列文章的一部分。每篇文章都会详细介绍新功能。从该系列的开头开始，请参阅《CDP中的运营数据库》，《运营数据库系列之可访问性》，《运营数据库系列之管理篇》。
在当今世界，各行各业每天都有海量数据产生，为了从这些海量数据中获取想要的分析结果，需要对数据进行提取、转换，存储，维护，管理和分析。 这已然远远超出了普通处理工具、数据库等的实现能力，只有基于的分布式架构和并行处理机制的大数据工具所才能实现这些功能。 Elasticsearch是响应如前所述大多数用例的最热门的开源数据存储引擎之一。
Ceph 集群搭建使用标准硬件和存储设备的服务器，是一个高度可扩展的分布式存储系统, 采用模块化分布式架构。Ceph 主要通过 RADOS 核心组件来提供能力。
ceph是以对象的形式存储数据的，但是对象的存储并不会直接存储进OSD中，因为对象的size很小，在一个大规模的集群中可能有几百到几千万个对象。这么多对象光是遍历寻址，速度都是很缓慢的，也不可能在对象这一级追踪位置；并且如果将对象直接通过某种固定映射的哈希算法映射到osd上，当这个osd损坏时，对象无法自动迁移至其他osd上面。为了解决这些问题，ceph引入了归置组的概念，即PG。
ceph 客户端从ceph monitor获取cluster map,然后执行在pool中的pg执行IO操作。cursh ruleset和pg的数量是决定数据对象放在哪里的核心因素。获取到最新的cluster map，ceph客户端是不知道数据对象在哪里。
Postgres 16刚刚发布了测试版，我对其中的新功能非常兴奋。该新功能允许从待命服务器进行逻辑复制，用户可以：
PG介绍 PG, Placement Groups。CRUSH先将数据分解成一组对象，然后根据对象名称、复制级别和系统中的PG数等信息执行散列操作，再将结果生成PG ID。可以将PG看做一个逻辑容器，这个容器包含多个对象，同时这个逻辑对象映射之多个OSD上。 如果没有PG，在成千上万个OSD上管理和跟踪数百万计的对象的复制和传播是相当困难的。没有PG这一层，管理海量的对象所消耗的计算资源也是不可想象的。建议每个OSD上配置50~100个PG。
Ceph基本功能 Ceph提供对象存储/块存储/文件存储的功能。一个Ceph就请你中至少包括Ceph Monitor、Ceph Manager、Ceph OSD，如果不熟了CephFS也需要一个MetaData Server组件。Ceph是以在Pool中存储数据对象的形式存储数据，首先ceph把应用端的文件先切若干个分ceph配置的标准对象大小的数据对象，然后针对这些数据对象进行哈希计算找到每个对象应该存储的PG，然后通过CRUSH算法和PG信息获取一组健康的OSD(一组OSD的数量和多副本或者纠删码相关)
1、安装完虚拟机后，更改名字，设置/etc/hosts文件 2、ceph-deploy工具部署
admin和local是两个特殊的数据库，它们当中的用户可对任何数据库进行操作，这两个数据库中的用户可作为超级用户
导语 | 某些业务场景安全性要求很高，核心空间的数据不能随意修改，本文介绍腾讯云数据库PostgreSQL在大量drop业务场景下主从复制产生的性能问题，为大家完整剖析此次内核优化的原理和方案，最终让主从同步性能增强了3W多倍，并解决了社区一直悬而未决的问题。文章作者：唐阳，腾讯云数据库产品经理。 一、背景介绍 腾讯云数据库PostgreSQL作为支撑着腾讯内部大量的业务，这些业务不仅仅包含有正式线上运行的，也包括内部测试开发所使用的数据库。不同业务有着不同的述求，不同的使用方法会带来不同的数据库问题
存储池（Storage Pool）是Ceph中的一个概念，用来对数据进行逻辑分区和管理。存储池由多个Ceph对象组成，每个对象都有一个唯一的对象ID和一组副本。
PG复制（同步和异步复制）是数据库社区最普遍的功能之一。现在用户通过高可用集群或者使用复制建立只读副本来分散工作负载。这里需要注意，如果使用复制，则必须确保集群受到正确监控。本文目的解释一些基本原理，以帮助集群健壮。
nearfull osd(s) or pool(s) nearfull 此时说明部分osd的存储已经超过阈值，mon会监控ceph集群中OSD空间使用情况。如果要消除WARN,可以修改这两个参数，提高阈值，但是通过实践发现并不能解决问题，可以通过观察osd的数据分布情况来分析原因。
2020 年 5 月，我们与 OnGres 合作，对 GitLab 上的 Postgres 集群进行版本大更新，从 9.6 版本升级到 11 版本。升级全部在维护窗口内运行，没有丝毫差错；更新中所有涉及的内容、计划、测试，以及全流程自动化，全部进行拆包，只为实现一次近乎完美的 PostgreSQL 升级。
这是个bug，版本升级后，pg_config改变了，会导致后面装外部extension时没有装到指定目录。
在前两篇文章里，我们分别从集群和节点层面向大家介绍了日常集群运维工作中常用到的一些命令。接下来我们继续从索引层面来介绍几个常用到的集群运维API。
一、概述 Ceph是一个分布式存储系统，诞生于2004年，最早致力于开发下一代高性能分布式文件系统的项目。随着云计算的发展，ceph乘上了OpenStack的春风，进而成为了开源社区受关注较高的项目之一。 Ceph有以下优势： 1. CRUSH算法 Crush算法是ceph的两大创新之一，简单来说，ceph摒弃了传统的集中式存储元数据寻址的方案，转而使用CRUSH算法完成数据的寻址操作。CRUSH在一致性哈希基础上很好的考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等。Crush算
锁是实现数据库并发控制必不可少的功能，PostgreSQL数据库通过其特有的多版本属性实现了MVCC，实现了读不阻塞写，写不阻塞读。PostgreSQL中表锁有八个级别，不同的锁对应了不同的排他级别。值得注意的是同一时刻两个事务不能再同一个表上获取相互冲突的锁，但是一个事务是永远不会与自己冲突的，一个事务里连续获取两个有冲突的锁类型是没有问题的。
前段时间接触到腾讯云的一个新数据库产品 CynosDB 是基于 Amazon Aurora 数据库的Paper实现的。我比较感兴趣就来看看它和之前看过的 Spanner 之类有什么不同，也许部分设计也能用在我们游戏业务的服务器中。它的主要的创新点在于重新设计了binlog和存储的部分，所以我也主要就看了两篇Paper： 《Amazon Aurora - Design Considerations for High Throughput Cloud-Native Relational Databases》 是一个整体性质的介绍和概述； 《Amazon Aurora: On Avoiding Distributed Consensus for I/Os,Commits, and Membership Changes》 是对其重点部分的存储服务的。
首先明确的是，这里的对比都是拿商业的分库分表方案与OB做对比，开源的MyCAT由于功能缺失太多，无可比性
client 无法链接mon的可能原因 1.连通性和防火墙规则。在MON主机上修改允许TCP 端口6789的访问。 2.磁盘空间。每个MON主机上必须有超过5%的空闲磁盘空间使MON和levelDB数据库正常工作。 3.MON没有工作或者离开选举，检查如上命令输出结果中的quorum_status和mon_status或者ceph -s 的输出来确定失败的MON进程，尝试重启或者部署一个新的来替代它。
Elasticsearch 和 Lucene 都是 Java 语言编写，这意味着我们必须注意堆内存的设置。
首先要说的是，这个“数”友的问题是，他们公司使用的是SQL SERVER 由于各种不满（此处省略N多文字），然后他们要换数据库，如果换成PG会如何，他们在从库会有很多的复杂查询的问题。所以才有了这篇文字。
Ceph是一个分布式存储系统，可以动态地扩展和缩减存储容量。下面分别描述Ceph的PG动态分布策略和智能重平衡的实现方式。
数据库行业年度回顾 技术的多元化探索与产品的差异化发展 2021年，各家数据库产品都取得了长足的进步。 首先，从技术角度上看，分布式、云及云原生、多模、HTAP、AI自治等代表性技术，成为了各大厂商布局发力的重点。 伴随着数据规模激增、场景复杂化，对大规模数据存储、计算提出了更高的要求。分布式数据库迎合这一趋势，近些年来发展迅速，逐步在业务核心场景中被尝试使用。其中不少分布式数据库产品在功能、性能、易用性、稳定性等方面都逐步完善成熟，相信在未来几年，分布式数据库将取得更大发展。 根据第三方机构预测，未来几年
PostgreSQL 14.2、13.6、12.10、11.15 和 10.20 发布
在Elasticsearch集群部署的初期我们可能评估不到位，导致分配的主分片数量太少，单分片的数据量太大，导致搜索时性能下降，这时我们可以使用Elasticsearch提供的Split功能对当前的分片进行拆分，拆分到具有更多主分片的新索引。
导语 | 腾讯云MongoDB目前广泛应用于游戏、电商、ugc、物联网等场景，为了更好地为客户提供服务，腾讯数据库团队对MongoDB进行升级，诞生了青胜于蓝的腾讯云MongoDB 4.2版本，并且已经正式在腾讯云发布啦，让我们一起来看看新版有哪些亮点吧~ 一、 CMongo 介绍 MongoDB作为时下最流行的nosql数据库，是一款集高性能、分布式、易扩展等特性为一身的文档型数据库，同时其易用性和功能丰富程度是其他同类产品所不能比拟的。 CMongo是腾讯云数据库联合团队基于开源Mongo
接《Amazon Aurora：云时代的数据库 ( 上）》 4. 日志驱动 在这一节中，我们介绍了数据库引擎是如何产生日志的，这样可持久化状态、运行时状态、以及复制状态永远是一致的。重点讲述了如何
在生产环境搭建或维护 Elasticsearch 集群和个人搭建集群的小打小闹有非常大的不同。
到本文结尾，你应该对关键指标有一个很好的了解，以便在你遇到Elasticsearch集群的性能或操作问题时进行监视。
【导语】春节将至，俗话说“腊月二十四，掸尘扫房子”，很多人会在腊月二十四给家里做大扫除迎新春。
术语热备用来描述处于归档恢复或后备模式中的服务器连接到服务器并运行只读查询的能力。这有助于复制目的以及以高精度恢复一个备份到一个期望的状态。术语热备也指服务器从恢复转移到正常操作而用户能继续运行查询并且保持其连接打开的能力。在热备模式中运行查询与正常查询操作相似，尽管如下所述存在一些用法和管理上的区别。
索引配置的评估同样也要结合具体的业务场景及索引的数据量来评估，尤其是单日新增的数据量。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
