Vitess，作为海外最为知名的分库分表产品，一直以来在国内声音不多。近期抽空了解下这个产品，特分享出来。本文部分内容取自Vitess官网https://vitess.io。
人资绩效系统数据预处理平台，负责接收所有上游业务量数据。具有数据量大、非结构化数据、更新单个业务量数据，查询性能要求高等特性。通常技术上可以选择OSS、MySql数据库、ES等存储方案。其中OSS云存储方案，查询性能与更新单个业务量数据上无法满足。MySql数据库如果每对接一种业务量创建一个表的方式，对于更新查询等方面复杂度较高，不利于系统扩展。而ES存储量与查询量都可以满足，但更新单个字段不够友好，且ES成本较高。
文章整理自：https://www.smartly.io/blog/scaling-our-analytical-processing-service-sharding-a-postgresql-database-with-citus
版权声明：本文由腾讯云数据库产品团队整理，页面原始内容来自于db weekly英文官网，若转载请注明出处。翻译目的在于传递更多全球最新数据库领域相关信息，并不意味着腾讯云数据库产品团队赞同其观点或证实其内容的真实性。如果其他媒体、网站或其他任何形式的法律实体和个人使用，必须经过著作权人合法书面授权并自负全部法律责任。不得擅自使用腾讯云数据库团队的名义进行转载，或盗用腾讯云数据库团队名义发布信息。 ---- Introduction 任何看到显著增长的应用程序或网站，最终都需要进行扩展，以适应流量的增加
物流人资数据预处理平台，负责接收一线几十万员工不同条线的工作量，每日数据量约2000w，系统负责加工转换并提供数据查询的同时，还需保证查询性能，以及修改单个业务量功能。本文通过HBase在物流人资数据预处理平台中实践，讲解HBase集群如何协同工作，并概述读取数据以及存储数据的原理，以及使用HBase注意事项。
本文篇幅有点长，介绍的非常全面，可以不夸张的说全网找不到第二篇那么详细了，强烈建议在阅读前先收藏，以防后期找不到了！
任何看到显著增长的应用程序或网站，最终都需要进行扩展，以适应流量的增加。以确保数据安全性和完整性的方式进行扩展，对于数据驱动的应用程序和网站来说十分重要。人们可能很难预测某个网站或应用程序的流行程度，也很难预测这种流行程度会持续多久，这就是为什么有些机构选择“可动态扩展的”数据库架构的原因。
除非你有AWS的背景或者正在申请AWS的相关职位，否则在AWS上的实现细节不需要了解。然而大部分在这里讨论的原理可以应用到除了AWS以外更通用的地方
ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。
在上一个文档“为什么选择CouchDB？”中，我们看到CouchDB的灵活性使我们能够随着应用程序的增长和变化而发展数据。在本主题中，我们将探讨CouchDB的“细化”工作如何提高应用程序的简单性，并帮助我们自然地构建可扩展的分布式系统。
MongoDB允许多个客户端读取和写入相同的数据。为了确保一致性，它使用锁定和其他并发控制措施来防止多个客户端同时修改同一条数据。总之，这些机制保证对单个文档的所有写入完全或根本不发生，并且客户端永远不会看到数据的不一致视图。
在分表式的数据库设计中，互相有关联的数据需要被抽象为分散在多个独立的父-子表中。但在 MongoDB 里，由于文档的存在，这样的数据可以被聚集在一起存储。MongoDB 的单文档操作，提供了足够满足大多数应用的原子性语义。
如果服务性能的增长与资源的增加是成比例的，服务就是可扩展的。通常，提高性能意味着服务于更多的工作单元，另一方面，当数据集增长时，同样也可以处理更大的工作单位。1
首先购买一台云服务器，并在上面安装 MySQL 数据库，然后部署一个 node.js 之类的 HTTP 服务器监听 80 和 443 端口，在 node.js 中连接数据库并实现业务逻辑。最后购买一个域名并配置 DNS 记录指向我们的服务器 IP 地址，这个网站就算搭建完成了。随着不断的努力，我们网站的访问量越来越多。某天早晨当你美滋滋打开网站想要看一眼最新评论时，却发现网站打不开了。。。
应用程序日益优化，功能增多，用户活跃度提高，每天产生的数据也在持续增长。然而，数据库的问题已经拖慢了应用的其他部分。在这篇文章中，我们将探讨数据库分片这一可能的解决方案，理解它是什么，如何运作，以及在什么情况下使用它是最佳选择。
RAID 是一种用于提高数据存储性能和可靠性的技术，英文全称：Redundant Array of Independent Disks，中文意思：独立磁盘冗余阵列。RAID 系统由两个或多个并行工作的驱动器组成，这些可以是硬盘或者 SSD（固态硬盘）。
答： 当我们在 4 核 8G 的机器上运 MySQL 5.7 时，大概可以支撑 500 的 TPS 和 10000 的 QPS。但是当服务的用户量远超这个量的时候，并且读的量大于写数据的量的时候，那我们解决的办法之一就是将数据库进行主从读写分离。
本章介绍如何优化MySQL性能并提供示例。优化包括在多个级别上配置、调优和度量性能。根据您的工作角色（开发人员、DBA或两者的组合），您可以在单个SQL语句、整个应用程序、单个数据库服务器或多个联网数据库服务器的级别上进行优化。有时，您可以积极主动地提前计划性能，而有时，您可能会在出现问题后对配置或代码问题进行故障排除。优化CPU和内存使用也可以提高可伸缩性，允许数据库在不降低速度的情况下处理更多负载。
上周组内技术分享我选择了ClickHouse这个主题，对我来说，是个纯新的技术，从零开始，无论是原理理解上，还是环境搭建，碰到了很多问题，顶多是踉踉跄跄踏入了ClickHouse，
【引子】周末阅读时光，一篇好的论文（https://cacm.acm.org/magazines/2023/6/273229-foundationdb-a-distributed-key-value-store/fulltext），开阔了眼界，支持事务语义的NoSQL应该放到软件系统架构备选方案之中。
显然RAM可能比磁盘慢，例如单个clnannel RAM与10倍 PCIe 4.0 SSD。
一项颠覆性的技术进入技术市场总会带来一阵震惊，但随之而来往往是被放弃。然而，Node.js 当然不是这样的情况，它是一个开源的、跨平台的基于 Chrome 的 JavaScript 运行时。Node.js 由 Ryan Dahl 于 2009 年开发，该平台现在已成为实时 Web 应用开发的独特选择，通过提供高度交互的用户体验来提高 ROI。
可扩展性被认为是一个很难解决的问题。人们总是把它看成是一种神奇的东西，是用神秘而特殊的工具完成的，只有身价百万的大块头才能使用。这当然不是真的。其实，那并没有什么神奇之处——那也不过是用普通编程语言编写的普通代码。
作者 ｜ Miloslav Voloskov 译者 ｜ 平川 策划 ｜ 万佳 本文为实现可扩展架构提出了几个原则：使用合适的工具。不要把写入优先和读取优先数据库弄混了。什么东西都配置多份。要实现多份配置，就必须让它们保持无状态。不要让后端完成数据库的工作，那样总是更慢。 可扩展性被认为是一个很难解决的问题。人们总是把它看成是一种神奇的东西，是用神秘而特殊的工具完成的，只有身价百万的大块头才能使用。这当然不是真的。其实，那并没有什么神奇之处——那也不过是用普通编程语言编写的普通代码。 首先，要针对工作选择合适
Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统进行离线分析。
如果你使用过 Google 或 YouTube，那么你很可能已经访问过分片数据。分片通过将数据分区存储在多个服务器上，而不是将所有内容放在一个巨大的服务器上，以实现扩展数据库的目的。这篇文章将介绍数据库分片的工作原理、思考如何给你自己的数据库分片，以及其他一些有用的、可以提供帮助的工具，尤其是针对 MySQL 和 Postgres。
批处理会将源业务系统中的数据通过数据抽取工具（例如Sqoop）将数据抽取到HDFS中，这个过程可以使用MapReduce、Spark、Flink技术对数据进行ETL清洗处理，也可以直接将数据抽取到Hive数仓中，一般可以将结构化的数据直接抽取到Hive数据仓库中，然后使用HiveSQL或者SparkSQL进行业务指标分析，如果涉及到的分析业务非常复杂，可以使用Hive的自定义函数或者Spark、Flink进行复杂分析，这就是我们通常说的数据指标分析。分析之后的结果可以保存到Hive、HBase、MySQL、Redis等，供后续查询使用。一般在数仓构建中，如果指标存入Hive中，我们可以使用Sqoop工具将结果导入到关系型数据库中供后续查询。HBase中更擅长存储原子性非聚合查询数据，如果有大量结果数据后期不需要聚合查询，也可以通过业务分析处理考虑存入HBase中。对于一些查询需求结果反馈非常快的场景可以考虑将结果存入Redis中。
最近公司业务量有点大，服务器I/O访问频率过高，之前单节点MySQL有点扛不住压力了，于是我找老板又搞了一台服务器，准备上MySQL的主从复制和读写分离，做多库的存储，提高单个机器的性能，老板欣然同意！
Redis 是内存数据库，数据存储在内存中，一旦服务器进程退出，数据就丢失了，所以 Redis 需要想办法将存储在内存中的数据持久化到磁盘。
当消息写入不同分区时需要可控，可以用到键，如对键进行一致性hash。第3章将详细介绍键的用法。
Discord 在创建之初采用的是一个单副本集的 MongoDB，没有使用 MongoDB 的分片，他们给出的理由是当时 MongoDB 分片很难用，而且不够稳定（这里就不去深究了）。消息数到达一亿条时，RAM 里已经存不下这么数据和索引，MongoDB 的延时开始变得不可控。
作为所有流式数据集成解决方案的起点，需要实时持续收集数据。 这被称为“流优先”方法，如果没有此初始步骤，流式数据集成和流分析解决方案都无法执行。实现此方法的方式因数据源不同而不同，但都具有一些共同的要求：
Meteor默认使用MongoDB作为数据库，虽然它正对Mongo进行了封装，但当应用扩大后，对于MongoDB性能调优的了解也是必不可少的。本文来自OneAPM，教给你使用MongoDB所需要了解的8个方面。 应用性能高低依赖于数据库性能，MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写，旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。 本文针对实时监控 MongoD
MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。
Vitess是用于部署，扩展和管理MySQL实例的大型群集的数据库解决方案。它在架构上可以像在专用硬件上一样有效地在公共或私有云架构中运行。它结合了NoSQL数据库的可伸缩性，并扩展了许多重要的MySQL功能。Vitess可以帮助您解决以下问题:
使系统快速运行的最重要因素是其基本设计。您还必须知道系统正在执行哪种处理以及其瓶颈是什么。在大多数情况下，系统瓶颈来自以下来源：
当从一个单体系统转向微服务架构（microservice architecture， MSA）时，处理分布式系统带来的复杂性是一个挑战。事务处理是其中的首要核心问题。在一个 Web 应用程序中使用本地事务完成的典型数据库事务，现在是一个复杂的分布式事务问题。在本文中，我们将讨论造成这种情况的原因、可能的解决方案以及使用 MSA 开发安全事务性软件系统的最佳实践。
现在无论是企业的业务系统还是互联网上的网站程序都面临着数据量大的问题，这个问题如果解决不好将严重的影响系统的运行速度，下面就针对这个问题的各种解决解决方案进行介绍。 1. 缓存和页面静态化 1.1 缓存 数据量大这个问题最直接的解决方案就是使用缓存，缓存就是将数据库中获取的结果暂时保存起来在，在下次使用的时候无需从数据库中提取，这样可以大大降低数据库压力。常用的缓存框架有Ehcache、Memcache 和 Redis等。 不过缓存也不是什么情况都适用，它主要用于数据变化不是很频繁的情况。而且如果是定期失效
松哥原创的 Spring Boot 视频教程已经杀青，感兴趣的小伙伴戳这里-->Spring Boot+Vue+微人事视频教程
答案：MongoDB是一个基于文档的NoSQL数据库，它使用BSON（一种类似JSON的二进制格式）来存储数据。与关系型数据库相比，MongoDB没有固定的数据模式，支持非结构化数据的存储，且水平扩展性强。MongoDB更适合于需要快速迭代开发、数据模型经常变动的应用场景。
在分布式数据库领域中，高性能＋强一致性事务是代表数据库水平高低的重要象征，这个领域的代表数据库是Google Cloud Spanner和Azure Cosmos DB以及Apple开源的FoundationDB，YugaByte DB是这个领域的另外一个开源数据库。以下为 YugaByte DB关于开发分布式SQL数据库技术挑战的分享。
ClickHouse全称是Click Stream,Data Warehouse，简称ClickHouse就是基于页面的点击事件流，面向数据仓库进行OLAP分析。ClickHouse是一款开源的数据分析数据库，由战斗民族俄罗斯Yandex公司研发的，Yandex是做搜索引擎的，就类似与Google，百度等。
数据库的体系结构是指数据库的组成、工作过程、以及数据库中数据的组织与管理机制，要了解Oracle数据库的体系结构，必须理解Oracle系统的主要组件和重要概念。
原文第二章 “架构视角” 由于篇幅较大，这里分为四部分来进行分享，今天是第二部分的 事务处理。
应用程序不可避免地需要随时间而变化、调整。在大多数情况下，更改应用程序功能时，也需要更改其存储的数据：可能需要捕获新的字段或记录类型，或者需要以新的方式呈现已有数据。
将主存储器用作存储区域而不是使用磁盘是并不是一种全新的尝试。你可以在日常生活中发现许多使用主内存DBMS(数据库管理系统)（MMDB）执行比磁盘快得多的情况。一个例子是你使用手机的时候。当你发短信或给你的朋友打电话时，大多数移动服务提供商会使用MMDB来让你尽快获取朋友的信息。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
