作者 | 潘娟 伴随着互联网应用场景逐渐深入到生活的各个角落，为了确保前端用户的使用体验，对互联网产品的后端架构性能提出了更高的需求。如今，开发以及运维人员正在将工作重心和优化重点放在了后端基础设施的可用性、一致性、扩展性、弹性以及全面自动化管理等能够提升效率的技术能力层面。 1 背景：Kubernetes 环境中的微服务与数据库 应用部署的变化 一方面，在处处充斥着大数据以及高并发场景的今天，后台技术人员往往会花费更多精力在解决『大规模业务数据的存储与应用』等问题上，以确保数据库等基础设施能够
分布式数据库已经流行好多年，产品非常众多，其中分布式数据库中间件使用场景最广。本文主要是总结如何基于分布式数据库中间件做数据库架构设计，以充分发挥它的分布式能力。各个中间件产品功能核心原理相同，细节上有些区别。这里仅以阿里云的DRDS为例分析，在产品架构、功能、成熟度和市场占有率上，它都比同行产品有优势。
A云Polardb-x 1.0现已全面升级为Polardb-x 2.0，但Polardb-X 1.0有其自有特色，仍然有很多企业在使用Polardb-X 1.0方案。那么，当这些企业想将业务系统迁移至腾讯云时，该如何进行数据库选型？怎么样进行数据同步？其中又会涉及到哪些问题呢？
随着各行各业电子信息化的不断加深，线上交易数据保持了长时间高速增长的态势，对数据存储的需求越来越大，数据库管理系统（DBMS）面临越来越大的性能、空间和稳定性压力。在此过程中，得利于计算&存储&网络等硬件领域的不断进步，业界流行的数据库管理系统逐步从单机架构向分布式架构演变。笔者希冀从梳理数据库管理系统所面临的一个又一个实际挑战及业界所提出的诸多解决方案的过程中，发现片缕灵感以指引未来的数据库开发工作。
Oracle 12C正式发布前，我曾经参加过一个中国企业用户与Oracle研发副总裁的圆桌会议，主要是提出国内企业级用户对Oracle数据库的一些需求，供Oracle下一个版本增加功能时参考。当时会上提出的很多需求后来在19c/20c里都看到了响应，不过这些还不是让我印象最深的，印象最深的是针对Oracle 12C SHARDING功能的讨论。
主从模式对于写少读多的场景确实非常大的优势，但是总会写操作达到瓶颈的时候，导致性能提不上去。
没有什么办法来复制数据短缺，在云里仍然是这样的。当人们浏览自己的云备份选项时，要仔细看看他的云环境，包括他的云计算供应商的本地备份服务、数据库等等。 回到在虚拟化的全盛时期，优选的备份方法是使用该备份或复制整个虚拟机从管理程序层，例如，采用Veeam云备份，或从Zerto软件复制数据保护的软件。 对于使用基于VMware云的IT部门，这种方法仍然有效。VIF教育是总部设在北卡罗来纳州教堂山分校的全球教育机构，运行了软件即服务（SaaS）和基础设施即服务（IaaS）的混合应用服务。对于其谷歌企业应用套件和Sa
我们都知道，随着业务量的增长，数据量也会随之增加，这个时候就需要关注业务大表，因为大表会影响查询性能，DDL变更时间很长，影响业务的可用性，同时导致从库延迟很大，如果业务做了读写分离，导致用户重复操作产生脏数据，例如重复下单。
1月7日，一年一度的《PostgreSQL中国技术大会》将在线上召开，本次大会以“开源论道，创新驱动，共建数字化未来”为主题，重点围绕新场景、新技术、新应用等内容展开分享和讨论。 明天（本周六）上午）09：00-12：00，腾讯云数据库专场盛大开启，多位鹅厂顶级技术达人亮相，针对腾讯云PostgreSQL系列产品、技术亮点和创新实践案例做深入解读，6大主题畅游PG海洋。 腾讯云专场议程 议题一：TDSQL开源版的特性升级与演进（1月8日上午9：00-9：30） 分享嘉宾：陈再妮，腾讯云数据库高级工程师
“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。
整理 | 田玮靖 出品 | CSDN（ID：CSDNnews） 当前，新一轮科技革命使得数据规模爆炸性增长、数据类型愈发丰富、数据应用快速深化，同时，云数据库、HTAP数据库、AI向量数据库等物种的出现，为数据库领域带来了新的技术难题和业务痛点。如：分布式中的一致性，那么多数据一致性模型，到底有什么不一样？如何保障数据安全与业务稳定发展？云数据库有哪些关键技术，怎么实现？“多云共存”，怎么进行数据库管控？ 以上问题有你正在关注、疑惑的地方吗？不妨看看国内大厂都是如何解决诸多难题的吧。 10月23-24日，第
大家好，我是来自中国光大银行信息科技部的王志刚，非常高兴有机会给大家分享一些分布式数据库在光大银行的应用探索。我目前在光大银行银行信息科技部负责数据库管理团队，在加入光大银行之前在三星、索尼爱立信，还有 Oracle 工作过，一直在负责数据库相关的工作。在近十年我和我的团队一直负责光大银行总行的数据库运维，这里面既包括我们的交易型数据库，也包括 MPP，还有 Hadoop 这样的大数据运维。在运维的过程中，我们一直也在思考现在的数据库有哪些问题、面临哪些风险、数据库技术的发展趋势是什么，这一点是很重要的，因为它决定了我们为什么要转向分布式，我们希望分布式能替我们解决哪些问题，它能够解决哪些问题和它不能够解决哪些问题。
2022年是魔幻年，2.24号，在外面爬雪山团建，谈着刚刚打响的俄乌战争。4月招聘一位上海员工，但因为疫情管控只能远程报到，杭州亚运会也被迫推迟，随后几个月大家都笼罩在阴影中，唯有世界杯带来了快乐，但原计划12.18号一起看决赛，没想到公司瞬间阳了一半，看球活动也被迫取消。好在疫情快速消停，和家人度过一个大团圆春节。
DTCC 2022，与近日落地，作为年度的数据库领域大会，有很多来自厂商、客户及行业内的专家带来了对数据库的最新解读。作为一名资深从业者，也持续关注大会13年。今年受到疫情影响，将形式改为线上，我也与近日拿到分享材料，抽空学习下。本文从上百位老师分享中摘出印象较深的，特分享给各位。会议材料可从https://z.itpub.net/stack/detail/10027下载。
影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。
[每周 Postgres 世界动态] 本文全网唯一源地址 产品新闻 信息来源：网址基础上整理。 PostgreSQL Anomymizer 发布新版本0.10，提出了新引擎和全新文档。PostgreSQL Anonymizer 是一个用于隐藏、替换个人身份信息或商业敏感数据的 PostgreSQL 插件。 pg_dumpbinary 发布新版本v2.7，pg_dumpbinary 是一个以二进制形式转储 PostgreSQL 数据库的工具软件。 pgAdmin 4 发布新版本v6.6、v6.7. pgAdm
[每周 Postgres 世界动态] 本文全网唯一源地址 产品新闻 信息来源：网址基础上整理。 时间 消息 2022-04-30 Apache AGE(孵化中) 发布新版本 1.0.0. Apache AGE 是一个基于 PostgreSQL 的针对快速分析和实时数据处理的图数据库插件。 2022-04-28 pg_ivm 发布新版本 1.0. pg_ivm 是一个提供增量视图维护(IVM)功能的插件。 博客动态 信息来源：网址 作者 文章 (Highgo)Asif Rehman PostgreSQL 1
日前，第11届PostgreSQL中国技术大会圆满落幕，大会上腾讯云多位顶级技术达人携手亮相，分别对腾讯云PostgreSQL系列产品技术亮点和创新实践案例进行了深入解读，针对TDSQL-C PostreSQL高可用特性、TDSQL-A发展历程、技术架构等做出了详细介绍。 会上腾讯云数据库开源产品TDSQL PostgreSQL版（开源代号Tbase）再次公布升级：分区表能力增强，分区剪枝性能提升30%，分布区表关联查询性能（Join）提升超十倍。此外，异地多活易用性增强、分布式死锁自动检测并解锁功能上线
前面讲了 Mycat 是一个开源的分布式数据库系统，但是由于真正的数据库需要存储引擎，而 Mycat 并没有存储引擎，所以并不是完全意义的分布式数据库系统。
很早之前整理了一份DBA 技能图谱，最近有朋友问源文件，正好随着技术迭代，针对技能图谱做了补充。
Mycat中的概念 数据库中间件 前面讲了Mycat是一个开源的分布式数据库系统，但是由于真正的数据库需要存储引擎，而Mycat并没有存储引擎，所以并不是 完全意义的分布式数据库系统。 那么Mycat是什么？Mycat是数据库中间件，就是介于数据库与应用之间，进行数据处理与交互的中间服务。由于前面讲的对数 据进行分片处理之后，从原有的一个库，被切分为多个分片数据库，所有的分片数据库集群构成了整个完整的数据库存储。 如上图所表示，数据被分到多个分片数据库后，应用如果需要读取数据，就要需要处理多个数据源的数据。如果没有数据库中间 件，那么应用将直接面对分片集群，数据源切换、事务处理、数据聚合都需要应用直接处理，原本该是专注于业务的应用，将会 花大量的工作来处理分片后的问题，最重要的是每个应用处理将是完全的重复造轮子。 所以有了数据库中间件，应用只需要集中与业务处理，大量的通用的数据聚合，事务，数据源切换都由中间件来处理，中间件的 性能与处理能力将直接决定应用的读写性能，所以一款好的数据库中间件至关重要。 逻辑库(schema) 逻辑库（schema） 前面一节讲了数据库中间件，通常对实际应用来说，并不需要知道中间件的存在，业务开发人员只需要知道数据库的概念，所以 数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。 在云计算时代，数据库中间件可以以多租户的形式给一个或多个应用提供服务，每个应用访问的可能是一个独立或者是共享的物 理库，常见的如阿里云数据库服务器RDS。 逻辑表（table） 逻辑表 既然有逻辑库，那么就会有逻辑表，分布式数据库中，对应用来说，读写数据的表就是逻辑表。逻辑表，可以是数据切分后，分 布在一个或多个分片库中，也可以不做数据切分，不分片，只有一个表构成。 分片表 分片表，是指那些原有的很大数据的表，需要切分到多个数据库的表，这样，每个分片都有一部分数据，所有分片构成了完整的 数据。 例如在mycat配置中的t_node就属于分片表，数据按照规则被分到dn1,dn2两个分片节点(dataNode)上。
时序数据库厂商「格睿云Greptime」已于近期完成天使轮融资。据介绍，本轮融资金额在数百万美金级别，由耀途资本领投，九合创投跟投。Greptime成立于2022年4月，是一家时序数据库厂商。公司CEO 庄晓丹曾在蚂蚁集团带领智能监控团队自研超大规模时序数据平台并实践 AIOps 智能运维，CTO 孙宁及技术 VP 冯家纯分别来自滴滴与蚂蚁集团。
当前的大环境和技术氛围，提供给国产化技术厂商一个千载难逢的推广机会，操作系统、数据库、中间件、办公终端各领域，无论是供应商，还是使用者，比以往任何时候都更积极和主动，并且更具成效。
2016年3月18日-19日，由CSDN重磅打造的数据库核心技术与实战应用峰会、互联网应用架构实战峰会将在上海举行。作为SDCC 2016（中国软件开发者大会）系列技术峰会的一部分，活动继续秉承干货实料（案例）为主的内容原则，这两场峰会将邀请业内顶尖的架构师和技术专家，共同探讨高可用/高并发系统架构设计、新技术应用、移动应用架构、微服务、智能硬件架构、云数据库实战、新一代数据库平台、产品选型、性能调优、大数据应用实战等领域的热点话题与技术。 2月29日24点前仍处于八折优惠票价阶段，单场峰会（含餐）门票只需
笔者刚开始进入公司的时候，主要是忙于分布式MySQL系统----MyShard的构建，公司使用了大量的IDC机房，基于这种网络特点，MyShard设计当初完全是为了是一套支持Multi-Master操作的高可用性的分布式数据库，可以在多个机房中部署的业务上提供快速的写操作，实现了分布式高可用存储能力。
本期我们采访的嘉宾是Postgres中国用户会发起人，开源爱好者李元佳先生，目前在华为担任数据库方面的产品规划，曾经在Nortel Networks、NTT、EnterpriseDB负责数据库内核的研
一 、引子 笔者刚开始进入公司的时候，主要是忙于分布式MySQL系统----MyShard的构建，公司使用了大量的IDC机房，基于这种网络特点，MyShard设计当初完全是为了是一套支持Multi-Master操作的高可用性的分布式数据库，可以在多个机房中部署的业务上提供快速的写操作，实现了分布式高可用存储能力。 在业务增长期，MyShard解决了公司的很多大型的数据库存储业务，随着公司业务逐渐稳定下来，分布式存储需求越来越少。而公司却有大量的小业务以及不断尝试的各种新业务，需要越来越多的小数据量的数据库存
点击上方“专知”关注获取更多AI知识! 【导读】推荐系统和数据库技术，一个是偏机器学习数据挖掘相关的应用，一个是偏系统存储相关的技术，这两者在实际中有很大的应用。今天，很高兴邀请到资深算法工程师宋强对此漫谈自己一些工作的独到见解，欢迎阅读~ 科研工作者的前世今生 笔者早年在人工智能领域上进修硕士，研究的方向是推荐系统，虽然最终未能将所学发扬光大，但亦心存敬畏，时常拜读相关著作。随后阴差阳错，人生中的第一份正式工作是从事分布式数据库的研发。受学长相邀，写下一点感悟。 矛盾的心理 人工智能和数据库都是当前的热潮
为了更系统、深入的梳理数据库的发展脉络和最新进展，数据猿采访了多位业界专家，包括星环科技联合创始人刘汪根、PingCAP 创始人兼 CEO 刘奇、达梦数据技术服务中心副总经理胡俊、南大通用GBase 8s产品线总经理崔志伟、酷克数据首席科学家杨胜文等，来共同探寻数据库的价值和未来。
大概是十年前吧，一个朋友突然打电话来说，他们公司有一个数据库，性能超过Oracle 50倍，希望我帮着看看，能不能在一些客户里推广推广。当时我就没把这话当回事，如果你说你们的数据库性能已经快赶上Oracle了，那我可能还会认真的去考虑考虑。后来他觉得我对这件事不上心，亲自飞到深圳，一定要给我上上课。在一个餐馆里，几杯酒下肚后，他拿出了电脑给我介绍他们的十分牛逼的数据库系统。当我看到第一页上的Mysql语法完全兼容的时候，我就说咱们接着喝酒吧，大概我清楚了。
搜索引擎，是人们常用的获取信息的平台，对关键字的搜索情况，间接代表着其关注程度。本文尝试从对数据库产品的搜索，了解各产品在受众中关注度情况。下面示例均以百度搜索提供的百度指数为基础，以最近2~3个月数据为依据进行分析。分析结果仅代表个人意见，不代表官方意见。
本文是“2021 InfoQ 年度技术盘点与展望”系列文章之一，由 InfoQ 编辑部制作呈现，重点聚焦操作系统在 2021 年的重要进展、动态，希望能帮助你准确把握 2021 年操作系统的核心发展脉络，在行业内始终保持足够的技术敏锐度。 “InfoQ 年度技术盘点与展望”是 InfoQ 全年最重要的内容选题之一，将涵盖架构、AI、大数据、大前端、云计算、数据库、中间件、操作系统、开源、编程语言十大领域，后续将聚合延展成专题、迷你书、直播周、合集页面，在 InfoQ 媒体矩阵陆续放出，欢迎大家持续关注。 特此感谢方勇、黄东旭、李海翔、罗荣龙、杨传辉（花名日照）（按姓名首字母排序）对本文的贡献，他们的真知灼见，是本文能与大家见面的关键。
在 2010s 进入移动互联网（web3.0）时代，互联网用户规模再次迎来井喷式增长，面向服务的技术架构在服务海量规模用户时显得力不从心。SOA 架构中 ESB 存在单点以及 RPC 中缺少服务的治理能力，ESB 和 RPC 架构都很难满足移动互联网海量用户的要求，微服务开始出现，并成为今天技术架构的主流。
作者：[美]威廉·肯尼迪（William Kennedy）布赖恩·克特森（Brian
https://www.cnblogs.com/grefr/p/6087942.html#top
DRDS 在 TDDL 提供的数据切分和 SQL 路由能力上，强化了分布式查询，事务和水平扩容能力。
近年来，因数据衍生、关联、发展起来的技术层出不穷，我们不断探索数据从资源转化为资产的方法，又面临在数据共享和互通中引发的安全隐患；我们迫切希望进行企业核心数据库的开源化、国产化替换，又碍于“恐龙级”老旧系统的历史遗留问题而难以开展；同时，我们还需要持续跟进如 AIOps、DataOps、混沌工程等新兴技术理念，制定适合自身企业的落地方案…… 为了和大家一起攻克这些疑难，第七届 DAMS 中国数据智能管理峰会将于 2021 年 8 月 27 日在上海举办，携手中国信通院云大所、阿里、腾讯、京东、百度、中国电
最近在某个“群”， 经常看到吐槽某分布式数据库的“流言蜚语”，主要提到一些问题， 如系统不稳定，系统运行缓慢，等一些问题，细究大部分问题不在分布式数据库，而在于本身使用者不具备使用分布式数据库的最基本的“能力”。
在实施微服务的过程中，不免要面临服务的聚合与拆分，当后端服务的拆分相对比较频繁的时候，作为手机 App 来讲，往往需要一个统一的入口，将不同的请求路由到不同的服务，无论后面如何拆分与聚合，对于手机端来讲都是透明的。
在传统数据大集中的环境下，银行核心系统很容易发生故障，而且一旦发生故障，影响面将特别广，带来很大的舆论压力和监管压力，历史上大型商业银行核心系统故障的例子不在少数。而且传统的集中式架构不易扩展，各模块间高度耦合，最终造成核心系统体量太过庞大、业务太过繁重。
分布式数据库进入人们的视野已经很久了。相对于传统的集中式数据库，分布式数据库在高性能、高可用、平滑拓展、高可靠、低成本等许多方面具有优势。 但时至今日，关于分布式数据库，似乎一直缺少足够权威和客观的解读。 现在，国家白皮书来了！ 为了明确分布式数据库的概念，梳理分布式数据库的技术体系和应用现状，对未来的技术和应用趋势进行研判，中国软件评测中心牵头组织了腾讯云等厂商参与，调研了国内主要分布式数据库产品厂商，并对部分产品进行了测评，参考了国内外主要研究机构的学术成果，历时半年共同编制了《分布式数据库发展路径研
网络信息的发展也使得数据的数量越来越庞大，想要除草如此庞大的数据，需要借助数据库的帮忙，目前数据库的种类非常多样，其中分布式数据库是一种较为新兴的数据库类型，下面为大家简单介绍分布式数据库系统是什么？以及分布式数据库系统主要有哪些优点？
大数据时代对数据处理能力的要求比较高，因而衍生出了很多种数据处理软件，比如能够储存大量数据的数据库数据库分为很多种类型，传统数据库主要是集中式数据库，目前出现了新型的分布式数据库，下面为大家简单介绍分布式数据库有什么用？以及分布式数据库的总体特征有哪些？
前面讲了 Mycat 是一个开源的分布式数据库系统，但是由于真正的数据库需要存储引擎，而 Mycat 并没有 存储引擎，所以并不是完全意义的分布式数据库系统。
分布式数据服务（Distributed Data Service，DDS） 为应用程序提供不同设备间数据库数据分布式的能力。通过调用分布式数据接口，应用程序将数据保存到分布式数据库中。通过结合帐号、应用和数据库三元组，分布式数据服务对属于不同应用的数据进行隔离，保证不同应用之间的数据不能通过分布式数据服务互相访问。在通过可信认证的设备间，分布式数据服务支持应用数据相互同步，为用户提供在多种终端设备上最终一致的数据访问体验。
宝马和奥迪已经官宣，不在研发燃油发动机，全面转向电动汽车，而国内的电动汽车新势力的各种汽车在大街小巷上比比皆是。数据库行业如果把单体数据库比作是燃油发动机的汽车，那么分布式数据库就是电动汽车。
公司技术分为浓重，在众多的兴趣小组里面有一个分布式数据库的小组，本周五需要进分享，是在是惭愧，作为这个小组的 specialist, 啥都没有做，所以赶紧弄弄，要不说啥。
面对互联网业务的不断深化以及业务量的爆发式增长，传统数据库架构迎来了前所未有的挑战和变革。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
