版权声明：本文由腾讯云数据库产品团队整理，页面原始内容来自于db weekly英文官网，若转载请注明出处。翻译目的在于传递更多全球最新数据库领域相关信息，并不意味着腾讯云数据库产品团队赞同其观点或证实其容的真实性。如果其他媒体、网站或其他任何形式的法律实体和个人使用，必须经过著作权人合法书面授权并自负全部法律责任。不得擅自使用腾讯云数据库团队的名义进行转载，或盗用腾讯云数据库团队名义发布信息。
点击上方蓝字每天学习数据库 在MemSQL使用中，我们发现人们对时序数据库的场景非常感兴趣。当遇到以下情况时尤其如此：（1）高效率的事务获取，（2）低延迟查询和（3）高并发查询率。 在下文中，我将展示如何使用MemSQL用作一个强大的时序数据库，并通过简单的查询和用户定义的函数来说明这一点，这些函数将展示如何进行时间序列 - 频率转换，平滑等操作。 我还将介绍如何快速加载时序数据点，并且没有规模限制。 用SQL操作时间序列 与大多数时序数据库不同，MemSQL支持标准SQL，包括内部和外部联接，子查询，
MemSQL是一种内存数据库，可以提供比传统数据库更快的读写操作。即使它是一项新技术，它也会说MySQL协议，因此使用起来非常熟悉。
互联网在本世纪初开始迅速发展，互联网应用的用户规模、数据量都越来越大，并且要求7X24小时在线。
Mycat 是什么？从定义和分类来看，它是一个开源的分布式数据库系统，是一个实现了 MySQL 协议的的Server，前端用户可以把它看作是一个数据库代理，用 MySQL 客户端工具和命令行访问，而其后端可以用MySQL 原生（Native）协议与多个 MySQL 服务器通信，也可以用 JDBC 协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为 N 个小表，存储在后端 MySQL 服务器里或者其他数据库里。
Mycat概述 功能介绍 Mycat是什么？从定义和分类来看，它是一个开源的分布式数据库系统，是一个实现了MySQL协议的的Server，前端用户可以把 它看作是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生（Native）协议与多个MySQL服务 器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为N个小表，存储 在后端MySQL服务器里或者其他数据库里。 Mycat发展到目前的版本，已经不是一个单纯的MySQL代理了，它的后端可以支持MySQL、SQL Server、Oracle、DB2、 PostgreSQL等主流数据库，也支持MongoDB这种新型NoSQL方式的存储，未来还会支持更多类型的存储。而在最终用户看 来，无论是那种存储方式，在Mycat里，都是一个传统的数据库表，支持标准的SQL语句进行数据的操作，这样一来，对前端业 务系统来说，可以大幅降低开发难度，提升开发速度，在测试阶段，可以将一个表定义为任何一种Mycat支持的存储方式，比如 MySQL的MyASIM表、内存表、或者MongoDB、LevelDB以及号称是世界上最快的内存数据库MemSQL上。试想一下，用户表 存放在MemSQL上，大量读频率远超过写频率的数据如订单的快照数据存放于InnoDB中，一些日志数据存放于MongoDB中， 而且还能把Oracle的表跟MySQL的表做关联查询，你是否有一种不能呼吸的感觉？而未来，还能通过Mycat自动将一些计算分析 后的数据灌入到Hadoop中，并能用Mycat+Storm/Spark Stream引擎做大规模数据分析，看到这里，你大概明白了，Mycat是 什么？Mycat就是BigSQL，Big Data On SQL Database。 对于DBA来说，可以这么理解Mycat： Mycat就是MySQL Server，而Mycat后面连接的MySQL Server，就好象是MySQL的存储引擎,如InnoDB，MyISAM等，因 此，Mycat本身并不存储数据，数据是在后端的MySQL上存储的，因此数据可靠性以及事务等都是MySQL保证的，简单的 说，Mycat就是MySQL最佳伴侣，它在一定程度上让MySQL拥有了能跟Oracle PK的能力。 对于软件工程师来说，可以这么理解Mycat： Mycat就是一个近似等于MySQL的数据库服务器，你可以用连接MySQL的方式去连接Mycat（除了端口不同，默认的Mycat端 口是8066而非MySQL的3306，因此需要在连接字符串上增加端口信息），大多数情况下，可以用你熟悉的对象映射框架使用 Mycat，但建议对于分片表，尽量使用基础的SQL语句，因为这样能达到最佳性能，特别是几千万甚至几百亿条记录的情况下。 对于架构师来说，可以这么理解Mycat： Mycat是一个强大的数据库中间件，不仅仅可以用作读写分离、以及分表分库、容灾备份，而且可以用于多租户应用开发、云平 台基础设施、让你的架构具备很强的适应性和灵活性，借助于即将发布的Mycat智能优化模块，系统的数据访问瓶颈和热点一目 了然，根据这些统计分析数据，你可以自动或手工调整后端存储，将不同的表映射到不同存储引擎上，而整个应用的代码一行也 不用改变。 当前是个大数据的时代，但究竟怎样规模的数据适合数据库系统呢？对此，国外有一个数据库领域的权威人士说了一个结论：千 亿以下的数据规模仍然是数据库领域的专长，而Hadoop等这种系统，更适合的是千亿以上的规模。所以，Mycat适合1000亿条 以下的单表规模，如果你的数据超过了这个规模，请投靠Mycat Plus吧！ Mycat原理 Mycat的原理并不复杂，复杂的是代码，如果代码也不复杂，那么早就成为一个传说了。 Mycat的原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的SQL语句，首先对SQL语句做了一些特定的分析：如分 片分析、路由分析、读写分离分析、缓存分析等，然后将此SQL发往后端的真实数据库，并将返回的结果做适当的处理，最终再 返回给用户。 上述图片里，Orders表被分为三个分片datanode（简称dn)，这三个分片是分布在两台MySQL Server上(DataHost)，即 datanode=database@datahost方式，因此你可以用一台到N台服务器来分片，分片规则为（sharding rule)典型的字符串枚举 分片规则，一个规则的定义是分片字段（sharding column)+分片函数(rule function)，这里的分片字段为prov而分片函数为字 符串枚举方式。 当Mycat收到一个SQL时，会先解析这个SQL，查找涉及到的表，然后看此表的定义，如果有分片规则，则获取到SQL里分片字 段的值，并匹配分片函数，得到该
原文地址：https://dzone.com/articles/creating-an-iot-kafka-pipeline-in-under-five-minutes
对大多数开发人员而言，SQL 以及 MySQL、PostgreSQL 等关系数据库管理系统（即 RDBMS）并不陌生。RDBMS 的基本架构原则已历经了数十年的发展。而 MongoDB、Cassandra 等 NoSQL 解决方案，则是在本世纪初为满足数据分布可扩展的需求而提出的。
MongoDB的核心优势之一可扩展性,给运维带来的极大便利与节约成本,业务初期可以部署小的集群或者副本集,后续可以水平扩容节点或者把副本集转换成集群模式来满足业务快速增长.其中集群模式下集合也可以非分片.本次主要讨论将非空的非分片集合转换成分片集合时注意事项以及遇到的问题.否则转换后造成业务不可用且转换是不可逆都操作,此动作发生时,需要在测试环境中应用经过完整的测试后可在生产环境上线,转换动作就是索引+shardCollection 2个组合动作即可(非常简单),如何把副本集转换成集群模式不在本次讨论范围内.
外键是引用另一个表的字段；存储在外键字段中的值是唯一标识另一个表中的记录的值。此引用的最简单形式如下例所示，其中外键显式引用Customers表中的主键字段CustID：
传统关系型数据库在诞生之时并未考虑到如今如火如荼的移动、社交以及大数据负载类型，同时也并不适合处理极端规模处理任务。不过大家不必担心，十六家专业企业已经为我们带来他们各自的次世代NoSQL与NewSQL选项。
ClickHouse is an open-source column-oriented DBMS (columnar database management system) for online analytical processing (OLAP) that allows users to generate analytical reports using SQL queries in real-time.
在这篇文章中提到了一个场景，即电商的订单。我们都知道订单表有三大主要查询：基于订单ID查询，基于商户编号查询，基于用户ID查询。且那篇文章给出的方案是基于订单ID、商户编号、用户ID都有一份分库分表的数据。那么为什么要这么做？能否只基于某一列例如用户ID分库分表，答案肯定是不能。
https://www.memsql.com/blog/linux-off-cpu-investigation/
本文作者为 PingCAP 联合创始人兼 CTO 黄东旭，将分享分布式数据库的发展趋势以及云原生数据库设计的新思路。
本系列为 CMU 15-445 Fall 2022 Database Systems 数据库系统 [卡内基梅隆] 课程重点知识点摘录。
MyCat基础知识 一、什么是MYCAT? 1. 一个彻底开源的，面向企业应用开发的大数据库集群 2. 支持事务、ACID、可以替代MySQL的加强版数据库 3. 一个可以视为MyS
ShardingSphere实现分库分表，如何管理分布在不同数据库实例中的成千上万张分片表？
大家好，我是BNTang，最近又去忙其他事情去了，终于有时间来水一篇文章啦，本文给大家介绍一下如何使用 ShardingSphere + MySQL 进行分表分表，分表分库之后我们又该如何进行查询，好了废话不多说开始咯。
在讲新的思路之前，先为过去没有关注过数据库技术的朋友们做一个简单的历史回顾，接下来会谈谈未来的数据库领域，在云原生数据库设计方面的新趋势和前沿思考。首先来看看一些主流数据库的设计模式。
分布式数据库架构下，索引的设计也需要做调整，否则无法充分发挥分布式架构线性可扩展的优势。今天我们就来聊聊 “在分布式数据库架构下，如何正确的设计索引？”
本文是《ShardingSphere5.x分库分表原理与实战》系列的第六篇，书接上文实现三种自定义分片算法。通过自定义算法，可以根据特定业务需求定制分片策略，以满足不同场景下的性能、扩展性或数据处理需求。同时，可以优化分片算法以提升系统性能，规避数据倾斜等问题。
数据加载速度是评判数据库性能的重要指标，能否提高数据加载速度，对文件数据进行并行解析，直接影响数据库运维管理效率。基于此，AntDB分布式数据库提供了两种数据加载方式：
本文讲述，如何理解Elasticsearch的分片、副本和路由策略。 1、预备知识 1）分片（shard） Elasticsearch集群允许系统存储的数据量超过单机容量，实现这一目标引入分片策略shard。在一个索引index中，数据（document）被分片处理（sharding）到多个分片上。Elasticsearch屏蔽了管理分片的复杂性，使得多个分片呈现出一个大索引的样子。 2）副本（replica） 为了提升访问压力过大是单机无法处理所有请求的问题，Elasticsearch集群引入了副本策略r
一、概述 MySQL Fabric这一新的架构为MySQL提供了高可用和向外扩展的特性。本实验专注于使用Fabric对多个MySQL服务器进行读写实现向外扩展。当单个MySQL服务器（或HA组）的写性能达到极限时，可以使用Fabric把数据分布到多个MySQL服务器组。注意这里说的组可以是单一服务器，也可以是HA组。管理员通过建立一个分片映射定义数据如何在多个服务中分片。一个分片映射作用于一个或多个表，由管理员指定每个表上的哪些列作为分片键，MySQL Fabric使用分片键计算一个表的特定行应该存在于哪个分片上。当多个表使用相同的映射和分片键时，这些表上包含相同列值（用于分片的列）的数据行将存在于同一个分片。单一事务可以访问一个分片中的所有数据。目前Fabric提供两种用分片键计算分片号的方法： HASH：在分片键上执行一个哈希函数生成分片号。如果作为分片键的列只有很少的重复值，那么哈希函数的结果会平均分布在多个分片上。 RANGE：管理员显式定义分片键的取值范围和分片之间的映射关系。这可以尽可能让用户控制数据分片，并确定哪一行被分配到哪一个分片。 应用程序访问分片的数据库时，它设置一个连接属性指定分片键。Fabric连接器会应用正确的范围或哈希映射，并将事务路由到正确的分片。当需要更多的分片时，MySQL Fabric可以把现有的一个分片分成两个，同时修改状态存储和连接器中缓存的路由数据。类似地，一个分片可以从一个HA组迁移到另一个。 注意单一的事务或查询只能访问一个单一的分片，所以基于对数据的理解和应用的访问模式选择一个分片键是非常重要的。并不是对所有表分片都有意义。对于当前不能交叉分片查询的限制，将某些小表的全部数据存储到每一个组中可能会更好。这些全局表被写入到‘全局组’，表中数据的任何改变都会自动复制到所有其它非全局组中。全局组中模式（结构）的改变也会复制到其它非全局组中以保证一致性。为了得到做好的映射，在没有‘自然选择’的分片键时可能需要修改模式。 二、安装与配置
数据分片是指按照某个维度将存放在单一数据库中的数据分散地存放至多个数据库或者表中以达到提升性能瓶颈以及可用性的效果。数据分片有效手段是对关系型数据库进行分库和分表。分表可以降低每个单表的数据阈值，同时还能够将分布式事务转化为本地事务的。分库可以有效的分散数据库单点的访问量。
在阅读源码之前，MongoDB shardCollection就像一个黑盒子，让人很难窥其内貌，在运营过程中遇到的很多问题都难以抓住关键点。本文以“shardCollection超时问题”为入口，探讨下面4个核心问题：
分库分表推荐Spring Cloud Alibaba+Seata+Shardingsphere
面试官：这边有个数据库-单表1千万数据，未来1年还会增长多500万，性能比较慢，说下你的优化思路
最近项目中不少表的数据量越来越大，并且导致了一些数据库的性能问题。因此想借助一些分库分表的中间件，实现自动化分库分表实现。调研下来，发现Sharding-JDBC目前成熟度最高并且应用最广的Java分库分表的客户端组件。
TiDB 从 v4.0 版本开始正式支持序列功能，而除了序列之外还有多种序列号生成方案，这些方案在没有对 TiDB 优化的时候一般会产生写入热点问题。本文将介绍如何应对写入热点问题高效运行序列号服务。
InterSystems IRIS提供了两种方法来唯一标识表中的行：RowID和主键。
传统的将数据集中存储至单一节点的解决方案，在性能、可用性和运维成本这三方面已经难于满足海量数据的场景。
1. 概述 本文前置阅读： 《SQL 解析（一）之词法解析》 《SQL 解析（二）之SQL解析》 本文分享插入SQL解析的源码实现。 不考虑 INSERT SELECT 情况下，插入SQL解析比查询SQL解析复杂度低的多的多。不同数据库在插入SQL语法上也统一的多。本文分享 MySQL 插入SQL解析器 MySQLInsertParser。 MySQL INSERT 语法一共有 3 种 ： 第一种：INSERT 📷 . 第二种：INSERT SET 📷 . 第三种：INSERT SELECT 📷 . Sha
接下来分别尝试有分片键查询，二级索引（idx_name）查询，无分片键查询这三种非常典型查询，并查看执行计划（并且为了防止查询结果被缓存，每条SQL都加上SQL_NO_CACHE）：
<数据猿导读> 本周，共有五家大数据相关领域公司获得融资，金额在千万到亿元不等，值得一提是的大数据新媒体运营商艾媒公司在获得融资的同时还于中国联通宣布战略合作关系，进而推出了新的大数据产品，以下是本周
Redis 是速度非常快的非关系型（NoSQL）内存键值数据库，可以存储键和五种不同类型的值之间的映射。
书接上文 《一文快速入门分库分表（必修课）》，这篇拖了好长的时间，本来计划在一周前就该写完的，结果家庭内部突然人事调整，领导层进行权利交接，随之宣布我正式当爹，紧接着家庭地位滑落至第三名，还给我分配了一个长期维护任务：带娃。看看我们的靓照，标准的小淑女一枚萌萌哒。
调用此方法时，它将尝试创建Sample.Employee表（以及相应的Sample.Employee类）。如果成功，则将SQLCODE变量设置为0。如果失败，则SQLCODE包含指示错误原因的SQL错误代码。
查询选择器(默认前缀为db.test.) 语句 说明 备注 find() 查询全部数据 默认每200ms将数据flush到硬盘 find({id:1}) 精确查询 find({id:{$lt:5}) id小于5的全部数据 同样的还有$lte(小于等于)、$lt（小于）、$gt（大于）、$gte（大于等于） find({id:[1,2]}) 某个范围内 $nin(不在某个范围内，低效，会使索引失效)、$ne（不等于，低效，会使索引失效） find({$or:[{id:1},{id:2}]} 等同sql or
集群是Redis提供的分布式数据库方案，集群通过分片进行数据共享，并提供复制和故障转移功能
分片就是一种把数据分布在多台机器上的方法。mongodb使用分片来支持大数据量、高吞吐量的布署。
本文主要基于 Sharding-JDBC 1.5.0 正式版 1. 概述 2. TableRule 2.2.1 DataNode 2.2.2 DynamicDataNode 2.1 logicTabl
序言：Redis（Remote DIctionary Server）作为一个开源/C实现/高性能/基于内存的key-value存储系统，相信做Java的小伙伴都不会陌生。Redis常用于缓存、分布式锁、队列(或有序集合)等场景，追求技术的小伙伴们肯定不只满足于Redis的使用上，肯定也想了解Redis背后的设计思想及对应的开发实践，话不多少，上车吧~
水平分表是在同一个数据库内，把同一个表的数据按照一定的规则拆到多个表中。前面以及介绍过来，这里不再重复介绍。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
