DB-Engines数据库排行榜
新闻资讯
一、RDBMS
二、NoSQL
三、NewSQL
四、大数据生态圈
五、国产数据库
六、云数据库
推出dbaplus Newsletter的想法
感谢名单
为方便阅读、重点呈现,本文对各板块内容进行了精简,需阅读完整版可点击文末【阅读原文】或登录云盘下载:https://pan.baidu.com/s/1h8plZz-amxxOMMWTL2eicQ(提取码:dwqg)
DB-Engines数据库排行榜
以下取自2021年1月的数据,具体信息可以参考http://db-engines.com/en/ranking/,数据仅供参考。
DB-Engines排名的数据依据5个不同的因素:
近期新闻资讯
1、2020年11月24日,国际权威调研机构Gartner公布2020年度全球数据库魔力象限评估结果,作为中国科技公司代表,阿里云首次挺进全球数据库第一阵营——“领导者”象限,这也是中国数据库40年来首次进入全球顶级数据库行列;此外,腾讯云、华为云进入了“特定领域者”象限。
2、2020年12月2日,Kubernetes官方发布公告,宣布自v1.20起放弃对Docker的支持,届时用户将收到Docker弃用警告,并需要改用其他容器运行时。但Docker作为容器镜像构建工具的作用将不受影响,用其构建的容器镜像将一如既往地在集群中与所有容器运行时正常运转。
3、2020年12月8日,CentOS项目宣布,CentOS 8将于2021年年底结束维护,为其接班的是CentOS Stream,CentOS Stream作为RHEL的上游(开发)分支在CentOS 8结束维护后会继续更新。而CentOS 7也将在其生命周期结束后停止维护。换而言之,“免费”的RHEL以后没有了。
4、2021年1月15日,Elastic公司宣布即将变更Elasticsearch和Kibana的其中一项开源许可协议——将Apache License 2.0变更为双授权许可,即SSPL + Elastic License。在不违反许可协议的前提下,变更后用户仍可自由选择使用满足自己需求的源代码或发行版。此次变更只影响使用到Apache License 2.0的源代码,与Apache License 2.0无关的部分像过去一样保持不变。例如Elasticsearch和Kibana的默认发行版会继续在Elastic License许可下发布,用户可继续免费下载和使用。
RDBMS
Oracle将推出21c,是全球唯一的融合数据库
根据Oracle的产品策略, 2021年将会推出Oracle 21c,21c重要新特性在于进一步强化融合数据库理念。强调3M功能——多模、多工作负载、多租户,是全球唯一的融合数据库(在本地与云端均能部署)。
一、Oracle 21c重要新特性摘要
注:关于以上特性的具体说明,可详细阅读本期Newsletter完整版(点击本文文末【阅读原文】可下载)
二、2020年度甲骨文重要发布回顾
2020年,甲骨文布了最新的Exadata X8M,Oracle Exadata X8M是业内首个采用了英特尔®傲腾™DC持久性内存和创新的数据库RDMA技术,与上一版本相比I/O吞吐量提高了2.5倍,I/O延迟降低了90%。
Oracle提供了多种方式使客户可以使用到Exadata的服务,包括了Exadata数据库一体机,Exadata公有云服务以及Exadata公有云私有化部署(ExaCC)。
另外,甲骨文还发布了Oracle数据库保护的最佳实践——ZDLRA最新版本X8,零数据丢失恢复一体机数据保护解决方案(简称恢复一体机)。
MySQL 8.0 2020年度重大更新及技术要点分析
一、2020年度MySQL总体回顾
2020年,MySQL 8.0发布了4个版本8.0.19~8.0.22,在功能和稳定性方面已经具备一定的用户基础和优势,可以考虑在生产环境试用/使用。
另外,MySQL 5.6将于2021年2月停止更新,结束其生命周期(EOL),也就是说,2021年2月以后,MySQL团队将不会再为5.6系列版本的MySQL提供任何补丁,反之留给MySQL 5.7的时间也较紧张,目前截止时间是2023年10月。
在功能方面,自MySQL 8.0.18版本发布hash join,到8.0.20版本已经可以使用hash join代替BNL,现在支持半连接、反连接、外连接,改进很明显,对MGR的细节也进行了很多功能改造,在安全性、可用性方便有较大提升。
尤其是在12月2日MySQL团队发布了MySQL Database Service with Analytics Engine,将OLTP/OLAP处理合二为一,同时在性能、安全和成本方面有了很大提升,让MySQL饱受诟病的OLAP领域带来转机。
二、MySQL 8.0针对业务研发关心的特性更新盘点
1、优化器改进
1)子查询update/delete采用Semi Join半连接作了优化
MySQL的子查询一直以来以性能差著称,所以解决的方案是用join关联查询代替子查询。
通常情况下,我们希望由内到外,先完成内表里的查询结果,然后驱动外查询的表,完成最终查询,但是MySQL 5.5会先扫描外表中的所有数据,每条数据将会传到内表中与之关联,如果外表很大的话,那么性能上将会很差。
MySQL 5.6版本里,子查询终于有了强劲的优化,这意味着不改变原有SQL的情况下,通过MySQL内部的优化器把子查询改写成为join关联查询。
但是,Semi Join半连接优化仅仅是针对select查询的,针对update/delete性能仍旧很差。
2)新增Anti Join反连接优化
在MySQL 8.0.18版本里,支持对NOT IN/EXISTS子查询语句优化,优化器内部将查询自动重写为Anti Join反连接查询SQL语句。
3)新增Hash Join优化
在MySQL 8.0.18中,增加了Hash Join新功能,它适用于未创建索引的字段,做等值关联查询。在之前的版本里,如果连接的字段没有创建索引,查询速度会是非常慢的(尤其是大表,执行频率很高的话,直接会将数据库打死),优化器会采用BNL(块嵌套)算法。
Hash Join算法是把一张小表数据存储到内存中的哈希表里,并逐行去匹配大表中的数据,计算哈希值并把符合条件的数据,从内存中返回客户端。
总结:以上三个特性,在不改变SQL语句的情况下,MySQL自身就将其优化,减少了开发日常的工作,避免了生产事故的发生。
2、InnoDB
1)instant add column亿级大表毫秒级加字段
加字段是痛苦的,需要对表进行重建,尤其是对亿级别的大表,DBA会反馈开发,表太大,加不了了,那么开发就得重新调整业务逻辑,势必增加了工作量。
虽然Online DDL可以避免锁表,但如果在主库上执行耗时30分钟,那么再复制到从库上执行,主从复制就出现延迟。使用instant ADD COLUMN特性,只需弹下烟灰的时间,字段就加好了,享受MongoDB那样的非结构化存储的灵活方便,无形中减少了开发的工作量。
限制:
3、系统稳定性提升
1)资源组有效解决慢SQL引发CPU告警
资源组的作用是资源隔离(你可以理解为开通云主机时勾选的硬件配置),将线上的慢SQL线程ID分配给CPU一个核,让它慢慢跑,从而不影响CPU整体性能。
注:资源组启动需开启CAP_SYS_NICE功能。
开启步骤如下:
# setcap cap_sys_nice+ep /usr/local/mysql/bin/mysqld
# getcap /usr/local/mysql/bin/mysqld
/usr/local/mysql/bin/mysqld = cap_sys_nice+ep
2)Query Rewrite插件重写DML语句
MySQL 8.0 Query Rewrite支持SELECT INSERT UPDETE DELETE REPLACE语句重写这个功能要点赞,比如开发上线时,有个SQL查询字段索引忘记加了,直接把线上CPU打满,此时,你可以将SQL重写,让业务先报错,别打死数据库,然后马上通知开发回滚,等加完索引后再上线。
注:本期Newsletter完整版中还包含有以上特性的具体操作例子,以及MySQL与TiDB的性能压测对比,提供不同场景需求的选型建议(点击本文文末【阅读原文】可下载详细阅读)
PostgreSQL获得“2020年度数据库”称号
一、PostgreSQL以最高增长速度获得DB-Engines 2020年度数据库称号。
二、PostgreSQL 13正式版的提升与优化
2020年9月24日PostgreSQL 13正式发布,也是目前的最新版本。PostgreSQL 13在索引和查找方面进行了重大改进,有利于大型数据库系统,同时包括索引的空间节省和性能提高,使用聚合或分区的查询时的更快响应,使用增强的统计信息时更优化的查询计划,以及很多其他改进。
PostgreSQL 13除了具有强烈要求的功能(如并行清理和增量排序)外,还为不同大小的负载提供了更好的数据管理体验。此版本针对日常管理进行了优化,为应用程序开发人员提供了更多便利,并增强了安全性。
注:关于PostgreSQL 13的性能提升、管理优化、应用程序开发便利、安全增强的具体内容,可详细阅读本期Newsletter完整版(点击本文文末【阅读原文】可下载)
三、PostgreSQL常用插件动态
1、分布式插件citus发布 9.5.1
citus是PostgreSQL的一款比较流行的sharding插件,agpl开源协议,目前为微软所拥有,国内苏宁有较大量使用案例。
https://github.com/citusdata/citus
2、地理信息插件postgis 3.1正式版本发布
PostGIS是专业的时空数据库插件,在测绘、航天、气象、地震、国土资源、地图等时空专业领域应用广泛。同时在互联网行业也得到了对GIS有性能、功能深度要求的客户青睐,比如共享出行、外卖等客户。
http://postgis.net/
3、时序插件timescaledb发布2.0.0
timescale是PostgreSQL的一款时序数据库插件,在IoT行业中有非常好的应用,2.0.0 的主要功能增强包括:
https://github.com/timescale/timescaledb
4、Oracle兼容插件orafce发布3.13.4
orafce是PostgreSQL的一款增强Oracle兼容性的插件。
https://api.pgxn.org/src/orafce/
OceanBase最新2.2.7版本有重要更新
2020年,OceanBase数据库一共迭代了3个版本,最新发布的2.2.7版本在高可用性、兼容性、安全性等方面进行了重要的更新。
1、高可用性
在高可用特性方面,除了提供原有的基于多副本的高可用形态之外,又提供了基于事务日志复制技术的高可用特性—主备库,创新性的将日志和复制技术引入到了原生分布式数据库领域,提供更灵活的高可用和容灾能力。
主集群通过向备用集群发送事务日志的方式来实现数据同步,从而确保生产集群能够在遇到数据损坏、灾难等情况下仍可快速恢复业务。当OceanBase生产集群出现计划内或计划外的不可用情况时,主备库可通过将某一个备用集群的角色切换为主集群,从而保证系统的持续运行,最大限度降低服务的停机时间。另外,OceanBase在物理备份恢复方面也提供了更多的功能。
2、兼容性
OceanBase针对Oracle、MySQL这两种应用最为广泛的数据库生态都给予了很好的支持。对于MySQL,OceanBase支持MySQL 5.6版本几乎全量语法,可以做到MySQL业务无缝切换。
对于Oracle,OceanBase目前已高度兼容Oracle的各种特性,包括数据库对象、SQL 语法、函数、PL/SQL语法、系统包等,让使用Oracle数据库的应用程序可更方便迁移到OceanBase,并为应用程序开发人员提供更多功能。
最新发布的2.2.7版本在复杂查询方面做了进一步优化。同时在并行执行处理能力进一步提升,提供提前解除行锁的能力来降低锁冲突,提升系统性能。事务解锁的时机由日志持久化成功,提前到拷贝batch buffer完成,使得操作同一行的事务能够并发执行。
3、安全性
在安全特性上也进行了很多提升,除了兼容绝大部分MySQL模式的权限外,对集群级别的各种系统权限进行了细致的拆分,并在Oracle模式也支持绝大部分的系统权限、对象权限、角色等安全功能。
此外,OceanBase新增支持权限审计、用户审计、对象审计、Lable Security、数据透明加密、全链路支持SSL加密等高级安全特性。可以看到OceanBase已经可以提供从权限控制到审计的全栈安全特性,还能提供精细到行级别的访问控制,并可提供从存储到传输的数据全链路加密能力,做到防止数据泄漏、保障数据安全、数据访问记录、全方位确保用户的数据安全。
NoSQL
Redis 2020年度功能特性更新亮点
从2019年12月19日6.0 RC到2020年12月14日6.2 RC,长达1年的时间中,Redis提供了许多喜人的功能和特性,虽然在性能上没有质的提升,但是在功能性、易用性和可维护性上面还是有许多值得期待和关注的亮点:
1、新增ACL权限控制
从Redis 6开始支持ACL,该功能通过限制对命令和key的访问来提高安全性。ACL的工作方式是在连接之后,要求客户端进行身份验证(用户名和有效密码);如果身份验证阶段成功,则连接与指定用户关联,并且该用户具有限制。同时,该功能与旧版本是向后兼容的,完全不用担心兼容性问题。
2、新增SSL支持
Redis 6开始支持SSL,连接更加安全。
3、多线程IO
Redis以高性能著称主要得益于单进程单线程的工作方式,多路I/O复用技术让单个线程高效的处理多个连接请求,使得Redis能够获得优异的性能。多线程IO的引入,主要用来处理网络数据的读写和协议解析的性能,但是命令的执行仍然是单线程,这样设计主要是不想因为多线程而使逻辑变得复杂,需要去处理key、lua、事务、LPUSH/LPOP等并发问题。
4、无盘复制
RDB作为Redis持久化方式之一,默认生成的RDB文件会存储在本地的磁盘上,开启无盘复制后,如果不再有用,将会被立即被删除。
同时,对RDB的加载也做了优化,RDB文件的加载速度比之前变得更快了。根据文件的实际组成(较大或较小的值),大概可以获得20-30%的性能提升。
5、Redis-benchmark支持集群
6、Redis引入集群代理
从Redis 6开始引入一个集群代理,可为客户端抽象Redis集群,使其像正在于单个实例进行交互一样,可简化客户端的操作。同时在简单且客户端仅使用简单命令和功能时执行多路复用。值得注意的是,这个集群代理跟Redis不在同一个repo中。其repo如下:
https://github.com/artix75/redis-cluster-proxy
注:关于新增命令或命令优化、Info字段改进、功能或性能优化改进、客户端优化改进的内容,可详细阅读本期Newsletter完整版(点击本文文末【阅读原文】可下载)
RocksDB 6.x大版本迭代更新回顾
从2019年11月25日6.6.0到2020年12月22日6.15.2,长达1年的时间中,RocksDB主要在6.x这个大版本上迭代,增加一些新特性及性能方面的优化。
一、新特性
二、性能优化
Cassandra 4.0版本重大更新预览
Cassandra是连续8年DB-Engines排名第一的宽表数据库,支持类SQL语法CQL,开发体验接近MySQL。预计2021年Q1将发布打磨了三年多的4.0版本。其中零拷贝串流(Zero-copy SSTable streaming)、Netty节点间通信、增量式修复、审计日志、临时副本等功能都十分值得期待。
零拷贝串流是指在串流时无需将数据读到内存后再写入到网络,可直接通过网络收发数据。从而显著提升性能(3-5倍),大大减少内存和CPU占用。可应用在多种场景,如缩短故障节点的恢复时间,降低多个节点同时处于不可用状态的概率;加速节点扩容时数据迁移速率,缩短扩节点时间等。
增量式修复在4.0版本可用于生产。每次修复时无需修复已完成修复的数据,仅需修复“未修复”部分。从而减少修复时间,仅需几分钟即可完成。
注:关于零拷贝串流、增量式修复、Netty节点间通信、虚拟表、审计日志的具体介绍,可详细阅读本期Newsletter完整版(点击本文文末【阅读原文】可下载)
NewSQL
TiDB 2020年度重大更新及技术要点分析
2020年,TiDB总共更新了35个版本,在稳定性、性能、安全、高可用、备份与恢复、数据迁移、部署运维和功能方面进行大量改进。
一、TiDB 4.0版本关键特性
1、性能
与3.0相比,TPC-C TpmC提升50%,TPC-H部份查询性能提升50%,主要通过IndexMerge、统一线程池、存储层缓存查询结果、Follower read、列存储引擎(TiFlash) 等特性提升性能。
2、稳定性
优化器新增SPM和16种SQL Hint确保执行查询语句的稳定性;将查询中间结果写入磁盘,避免系统OOM;新增AutoRandom Key解决大批量数据写入产生的热点问题。
3、备份与恢复
新增分布式备份与恢复工具,备份性能的高达TiKV节点* 150+ MB/s,且随TiKV节点数线性扩展,备份与恢复支持全量、Database、Table级别备份与恢复,可将备份的数据存储到NFS、AWS S3等外部存储系统。
4、安全
支持TDE;所有组件之间的通信息支持TLS;支持对系统输出的日志脱敏,防止信息泄露。
5、支持悲观事务、事务的大小限制从100MB放开到10GB
6、部署与运维
TiUP提供基于命令行的部署、运维工具,秒级部署一套TiDB、一条命令完成版本升级、扩容、缩容,极大提升部署、运维TiDB的效率;支持可视化的诊断、排查TiDB的性能的问题,功能包括:Key Visualizer、Statement、Slow Query、Diagnostic Report、Log Search & Download等。
二、TiDB 5.0-rc版本最值得关注的特性
1、性能
开启聚族索引功能,性能与4.0相比TPC-C TpmC提升了39%;开启异步提交事务(Async Commit)功能,Sysbench oltp-insert latency降低了37.3%。
2、稳定性
通过提升优化器的稳定性及限制系统任务对I/O、网络、CPU、内存等资源的占用,降低系统的抖动,长期测试72小时,衡量Sysbench TPS抖动标准差的值从11.09%降低到3.3.6%。
3、可用性
引入Raft Joint Consensus算法,确保Region成员变更时,确保在有节点故障时系统任旧可用。
4、备份与恢复
通过备份文件到AWS S3、Google Cloud GCS或者从AWS S3、Google Cloud GCS恢复到TiDB,确保企业数据的可靠性。
5、导入与导出数据
提升从AWS S3或者TiDB/MySQL导入导出数据的性能,帮忙企业在云上快速构建应用,例如:导入1TiB TPC-C数据性能提升了40%,由254 GiB/h提升到366 GiB/h;DM 2.0提供dm-master、dm-worker高可用的能力,确保部分节点故障后服务可用。
6、部署、运维
优化EXPLAIN功能、引入不可见索引等功能帮助提升DBA调试及SQL语句的效率。
SequoiaDB首创专利级STP(分布式序列时钟协议)
2020年10月,巨杉数据库正式发布了SequoiaDB v5.0版本,其中三大黑科技:跨引擎事务一致性、原生分布式金融级容灾、多云多平台,帮助企业提高在线交易、数据中台、历史数据管理、内容管理的运维效率,降低业务开发复杂性。
在SequoiaDB v5.0中,巨杉数据库团队首创专利级STP(分布式序列时钟协议),各STP Server之间通过Raft保证逻辑时钟的强一致性,每个数据库节点通过本地的STP Client与主STP Server保持逻辑时钟一致性。当前基于这一技术,巨杉数据库已经可以支持超过4096节点,数十PB级别的海量数据扩展。
另外,v5.0版本实现了在分布式数据库中罕见的“RR(Repeatable Read)级事务隔离”,在要求ACID绝对保障的高并发环境下性能显著提升,在多次不同环境的客户压力测试环境下,相比原有版本性能提升近3倍。
大数据生态圈
Elastic 2020年度重大更新及技术要点分析
Elastic在2020年共发布过5次大版本,依然围绕7.X延续,从7.6.X到7.10.X,至于令人期待的8.X依然没有明确发布日期,中间还有7.11.X,7.12.X待正式发布,笔者预计2021年第三季度会发布8.X(内容仅代表笔者个人观点与喜好,不代表社区或官方,若有异议,欢迎探讨)。
值得关注的性能优化及新特性
1、dense vector向量字段类型
向量检索可应用于很多领域,特别是图像识别、语音识别、智能问答、文本嵌入等,Elastc早期引入Vector字段类型,仅仅限于实验性阶段,7.6.0版本正式发布,对于有海量向量检索的应用项目多了一个选择。
2、off heap堆外内存
Elasitc 7.7.0版本性能优化最大的应该是off-heap堆外内存,将数据_id已到堆外内存,大大降低了JVM堆内存占用。据官方特定数据集测试,JVM堆内存利用率提升了7倍,同比之前版本可大大提升单节点挂载数据量,意味着服务器单位成本可大幅度降低,值得马上升级拥有。
3、jdk14运行环境
4、node.transform节点角色
新增一个节点角色,将原有数据转换的职责分离出来,设定独立的转换节点,使得可大规模应用于OLAP项目应用中,将实时需求与离线需求分离。
#设定节点数据转换角色
node.transform: true
5、async search异步检索
#发起异步检索
POST /sales*/_async_search?size=0
{
......
}
6、wildcard通配符字段
#设置wildcard类型
PUT my-index-000001
{
"mappings": {
"properties": {
"my_wildcard": {
"type": "wildcard"
}
}
}
}
7、EQL事件查询语言
#EQL查询语法示意
GET /sec_logs/_eql/search
{
"query": """
sequence by process.pid with maxspan=1h
[ process where process.name == "regsvr32.exe" ]
[ file where stringContains(file.name, "scrobj.dll") ]
until [ process where event.type == "termination" ]
"""
}
8、node.roles配置变更
#7.9.X之前节点角色设置方式
node.master: true
#7.9.0之后的节点角色设置方式
node.roles: [ data, master, voting_only ]
9、tableau可视化支持
10、data tier数据层概念
#数据层次,4种角色
node.roles: [ data_content ]
node.roles: [ data_hot ]
node.roles: [ data_warm ]
node.roles: [ data_cold ]
11、snapshot search快照搜索
注:更多版本的性能优化与特性介绍,可详细阅读本期Newsletter完整版(点击本文文末【阅读原文】可下载)
Greenplum每月迭代一个小版本,最新发布6.13.0
Greenplum 6.0升级了对应Postgres版本的内核(9.4),从而获得了更多Postgres的兼容特性;大幅增强了OLTP型负载的处理能力,从而胜任流计算和HTAP的场景。Greenplum 6.0的其它重要更新还包括:支持复制表、在线扩容、磁盘配额、支持Zstandard压缩算法、基于流复制的全新高可用机制等。
6.0自正式版发布以来,Greenplum保持每月一个小版本的迭代速率,持续提供新功能和修复补丁,目前最新版为6.13.0,于2020年12月18日发布,本版本中更新了多个新功能并修复了多个补丁,新功能如下:
注:更多版本的新功能介绍,可详细阅读本期Newsletter完整版(点击本文文末【阅读原文】可下载)
国产数据库
本期新秀:openGauss正式发布1.0.1及1.1.0版本
openGauss在2020年6月建立社区,9月和12月分别发布1.0.1及1.1.0版本,热度持续上升,并荣获2020年度国产数据库。openGauss体现了华为特色,在过去的一年进行了大量的能力增强,快速进行产品商业化能力完善,其中主要的亮眼特性有:
1、通用能力增强
2、Oracle及PG兼容性
3、高可用能力增强
4、运维能力提升
注:更多新特性介绍,可详细阅读本期Newsletter完整版(点击本文文末【阅读原文】可下载)
ArkDB 2020年度重大更新及技术要点分析
一、重大更新
二、新功能
三、技术要点分析
ArkDB在2020开发新增了Arkolap列式存储引擎,支持数据行列混合双引擎存储,用户只需在建表时,标注数据需要同步到Arkolap引擎,ArkDB内部同步数据到Arkolap引擎。在复杂的OLAP数据分析场景下,ArkDB支持TP数据和AP数据的混合连接查询,且100%兼容MySQL语法,保证最高兼容性的同时,ArkDB也拥有了强大的OLAP分析能力。
QianBaseTM 2020年度重大更新及技术要点分析
易鲸捷QianBaseTM在2020年陆续进行了多个版本的产品迭代并发布了4个正式版本,QianBaseTM1.6.0~1.6.3,结合用户需求和项目实践,对产品在功能、可用性、稳定性及扩展性方面进行研发优化,主要新增特性包括:
注:更详细的新特性介绍,可阅读本期Newsletter完整版(点击本文文末【阅读原文】可下载)
云数据库
阿里云2020年度多款数据库产品更新汇总
一、云原生关系型数据库PolarDB与分布式版PolarDB-X 2020年度更新
2020年2月:
PolarDB MySQL支持全局一致性:PolarDB的读写分离模块从低到高分别提供了最终一致性、会话一致性和全局一致性共三种。
2020年3月:
PolarDB-X底层数据节点支持RDS三节点(X-DB):通过支持RDS三节点(X-DB)和访问链路优化,PolarDB-X提供了RPO=0以及更加底的访问延迟。
2020年6月:
云原生分布式数据库PolarDB-X正式发布,支持超高并发和海量数据存储能力。
2020年8月:
PolarDB-O发布索引增强功能:PolarDB-O支持在分区表上并发创建索引,解决索引创建在大表中耗时过长的问题,同时支持索引添加Invisible状态,解决用户希望索引先失效然后确认无影响后再进行删除的需求。
2020年9月:
PolarDB-X发布两大全新企业级功能:混合负载HTAP和全局二级索引透明分布式:利用PolarDB-X的HTAP智能混合负载技术、数据查询强一致技术、资源链路强隔离技术和在线分析加速技术,PolarDB-X可以使在线交易和在线复杂查询的性能大大提升,效率提升5到10倍以上。全局二级索引功能,可以支持多维字段拆分,提供透明分布式拆分能力,满足业务对不同维度查询拆分的诉求。
2020年10月:
PolarDB MySQL发布公测新版本8.0.2:PolarDB MySQL发布公测新版本 8.0.2与社区版MySQL 8.0.18版本完全兼容,支持热重启(Warm BufferPool)、hash join等功能,进一步提升PolarDB的可用性稳定性和面向大表查询的性能。
2020年11月:
PolarDB-O到PolarDB-O DBLINK发布并上线。
2020年12月:
PolarDB-O到Oracle的DBLINK发布上线:PolarDB-O支持PolarDB-O到Oracle的DBLink功能,支持公有云PolarDB-O用户通过DBLINK功能访问线下或者ECS自建Oracle的数据,满足客户Oracle迁移至PolarDB-O后跨IDC网络跨实例访问远端数据库数据的需求。
二、RDS & NoSQL 2020年度更新
2020年1月:
RDS MySQL 8.0发布三节点企业版:三节点企业版三可用区部署实例支持可用性SLO是99.99%,同时实例主节点和备节点之间数据复制是强同步,提供RPO=0的数据库解决方案。
本次发布的核心功能包括:
2020年2月:
RDS SQL Server 2019标准版Beta发布上线:SQL Server 2019版提供大数据集群扩展、混合缓存池、扩展标准语言SDK支持等新的数据库特性,同时阿里云数据库平台加持了性能洞察、按时间点恢复、数据审计、加密等全套运维解决方案,协助用户在既有业务场景或新型机器学习、人工智能业务场景下,更好地使用及管理SQL Server数据库。
RDS PostgreSQL V12发布plv8 2.3.13版本:支持使用plv8语言进行数据库的存储过程、函数编程。
2020年3-4月:
MySQL支持用户自定义调整Buffer Pool大小,目前首家支持该特性的中国云厂商:RDS MySQL支持修改InnoDB buffer pool空间大小,innodb_buffer_pool_size调整范围最小值128MB,最大值是RDS MySQL实例规格内存*80%。目前仅支持通过公式修改,在RDS参数管理和RDS参数模板中,通过系统变量DBInstanceClassMemory来设置 innodb_buffer_pool_size,如 {DBInstanceClassMemory*7/10} 表示将 RDS MySQL 实例的 innodb_buffer_pool_size 设置为规格定义的内存空间的70%大小。
HBase全品功能全面优化:
2020年5月:
RDS PostgreSQL V11支持DDL回收站、防火墙、增量订阅:RDS PostgreSQL V11开放事件触发器,支持DDL回收站、防火墙、增量订阅等功能. 增强安全、增量复制功能。
Redis 6.0发布:Redis 6.0版本在一系列关键领域进行了改进,支持新的Redis协议:RESP3,采用网络请求多线程处理提高了性能,并修复了之前版本的多个缺陷。此次在阿里云上线的规格是社区云盘版,后续会逐步支持本地盘版。
2020年6月:
RDS PostgreSQL 11发布内核新版本,时序、逻辑订阅、管理等功能增强:RDS for PG 11 20200610版本release note:1、支持插件timescaledb 1.7.1。2、支持rds_superuser 使用插件pageinspect。3、支持rds_superuser 赋予其他用户replication 权限。4、支持插件decoderbufs 0.1.0。
2020年10月:
云数据库Redis版发布数据闪回功能:业界独家支持数据闪回功能,最长可恢复7天内任意时间点(秒级)的Redis数据,避免误操作带来的数据损失,降低运维复杂度,实时保护数据。
2020年12月:
RDS PostgreSQL国内首发V13大版本,具体功能如下:
MongoDB发布4.4版本:MongoDB 4.4是MongoDB公司2020年推出的最新稳定大版本,目前阿里云首先发布了最新4.4版本,带来隐藏索引、Refinable Shard Keys、复合哈希分片键、对冲读、镜像读、Union聚合等多项新功能。
注:更多详细更新信息,可阅读本期Newsletter完整版(点击本文文末【阅读原文】可下载)
腾讯云2020年度12款数据库产品更新汇总
一、腾讯云MySQL 8.0年度重大更新
1、腾讯云MySQL 8.0中针对性能提升的特性有:
2、腾讯云MySQL中针对安全提升的特性有:
3、腾讯云MySQL中针对可用性提升的特性有:
二、腾讯云数据库PostgreSQL年度功能更新
2020年,腾讯云数据库PostgreSQL每月均有版本发布,其中在3月份发布了Serverless化的PostgreSQL功能,主从延迟同步优化功能和只读实例功能。
功能速递:
三、腾讯云Redis支持多可用区部署
2020年12月,腾讯云数据库Redis发布了跨可用区部署功能,支持同Region下跨任意可用区部署,同时针对缓存场景对延迟的苛刻要求,提供故障本地就近切换,就近只读功能。在提升服务可用性的同时,保障缓存的读取延迟。
四、云数据库Tendis正式发布
2020年12月,腾讯云数据库Tendis正式发布。Tendis是腾讯云自研、100%兼容Redis协议的数据库产品,作为一个高可用、高性能的分布式KV存储数据库,从访问时延、持久化需求、整体成本等不同维度的考量,推出了存储版和混合存储版的不同产品形态:
五、腾讯发布全Serverless Database架构的云原生数据库TDSQL-C(原CynosDB )
六、时序数据库CTSDB超大集群架构升级
2020年,CTSDB持续迭代,其中在9月份更新的超大集群架构升级新特性最值得关注。
七、云数据库MongoDB版本更新总结
1、腾讯云MongoDB新版本迁移产品newDTS for MongoDB 1.0版本发布
2020年7月,由腾讯云MongoDB自研的新版本迁移产品newDTS for MongoDB 1.0版本发布,具备跨版本迁移、自动重试、断点续传等企业级特性。2021年newDTS for MongoDB将支持更多特性,如跨架构迁移、异构迁移如迁移到ES等场景。
2、腾讯云MongoDB发布单节点版本、跨可用区版本
2020年11月,腾讯云MongoDB正式发布了单节点版本,在保障性能的同时,运营成本仅为集群版本1/3,适用于个人或企业学习、业务内部测试环境等场景。
2020年12月,腾讯云MongoDB发布了跨可用区版本,将支持同region下将实例的节点分布到任意不同的可用区,实现单实例跨区容灾的能力,满足企业的容灾需求。
八、云数据库Tcaplus发布3.46版本、3.50版本
2020年7月,TcaplusDB发布3.46版本,支持全局索引能力,客户可以在使用PB级存储、毫秒时延的KV数据库服务的同时,享用数据的聚合查询能力,支持在海量并发、不锁表、异步构建索引。
2020年10月,正式发布了TcaplusDB的3.50版本,支持本地开发环境,具体内容如下:
九、腾讯云TDSQL-A ClickHouse版重磅上线
2020年12月,腾讯云TDSQL-A ClickHouse版发布,基于ClickHouse引擎,提供高性能、高可用和低成本的易用实时分析数据库解决方案。
十、腾讯云TDSQL PostgreSQL版(原TBase OLTP版)
2020年9月底发布Oracle兼容版本,整体Oracle兼容性95%以上。可以帮助用户尽可能平滑地从Oracle迁移到腾讯云数据库上。
十一、DBbridge具备数据库国产化迁移完整方案
2020年6月,DBbridge 1.0版本发布,支持Oracle到tencentDB的评估、结构迁移、全量迁移等功能,提供一站式数据迁移平台以及专家服务,满足企业数据库国产迁移需求。
2020年12月,DBbridge 2.5.11版本发布,支持Oracle到tencentDB的增量同步,反向同步和数据对比等功能,实现了完整的数据库国产迁移解决方案,满足企业数据的迁移、同步及灾备需求。
十二、腾讯云数据库智能管家DBbrain功能更新总结
注:更详细的产品技术分析,可阅读本期Newsletter完整版(点击本文文末【阅读原文】可下载)
京东智联云数据库2020年度发布汇总
RadonDB 2020年度重大更新及技术要点分析
MyNewSQL领域的RadonDB云数据库在2020年度值得关注的新功能有:
1、一键数据均衡功能:radon rebalance
用户业务在分布式数据库上运行一段时间后,在大量数据的写入下,通过监控会发现不同后端数据有多有少,随数据量的增加,有的差别会比较大,从而导致数据量很大的节点负载会比较重。基于这种场景,新增加了数据均衡功能:radon rebalance。这个命令旨在重新平衡后端之间的数据(分区表)。
2、支持白名单地址段功能
针对有些用户需要支持一些连续地址片段的白名单,比如10.0.0.0/24,配置可以根据正则表达式进行配置。
3、增加xa事务的管理功能
针对一些异常场景下两阶段事务中有些prepared事务没有最终提交,且后端节点可能比较多,需要提供统一管理接口可以查看整体集群中事务相关状态,并能及时处理异常事务。
4、进一步完善读写分离功能,完善审计相关功能,支持后端指定分片数,丰富和完善集成测试。
5、各种生产环境和场景下发现的问题的fix和完善,如并发极端情况的死锁问题。
6、把迁移工具移到RadonDB中,成为功能子集,完善接口
整合shift迁移功能,作为基础库,抽象出interface接口,供radon层shift manager模块调用。radon层设计Shift manager插件模块,在plugin目录下新增shiftmanager目录,封装一组对shift启动/等待迁移结束/终止迁移等基本操作接口,并提供获取相应对状态信息的接口。并对每一个迁移对实例进行管理。维护每个实例的迁移状态、迁移进度、成功失败等信息,简化设计,降低了代码耦合及后续新增迁移类型功能的开发和维护的难度。
注:更多新功能介绍,可详细阅读本期Newsletter完整版(点击本文文末【阅读原文】可下载)
推出dbaplus Newsletter的想法
dbaplus Newsletter旨在向广大技术爱好者提供数据库行业的最新技术发展趋势,为社区的技术发展提供一个统一的发声平台。为此,我们策划了RDBMS、NoSQL、NewSQL、时序数据库、大数据生态圈、国产数据库、云数据库等几个版块。
我们不以商业宣传为目的,不接受商业广告宣传,严格审查信息源的可信度和准确性,力争为大家提供一个纯净的技术学习环境,欢迎大家监督指正。
Newsletter的发布周期约每隔三个月一期,下期计划时间是2021年4月19日~4月30日,大家如果有相关的信息提供欢迎发送至邮箱:newsletter@dbaplus.cn
感谢名单
最后,要感谢那些提供宝贵信息和建议的专家朋友,排名不分先后。