从数据库到数据仓库，最后到数据湖[1]，随着数据量和数据源的增加，数据格局正在迅速变化。数据湖市场预计增长近 30%[2]，将从 2020 年的 37.4 亿美元增长到 2026 年的 176 亿美元。此外从 2022 年数据和人工智能峰会[3]来看，数据湖架构[4]显然是数据管理和治理的未来。由于 Databricks[5] 发布了 Delta 2.0，该趋势可能会增长，该平台的所有 API 都将是开源的。此外Snowflakes[6] 在其峰会上宣布了一些改变游戏规则的功能，使数据湖成为该行业的支柱。治理、安全性、可扩展性以及对分析和交易数据的无缝分析，将会推动该领域创新。
我们用过很多数据仓库。当我们的客户问我们，对于他们成长中的公司来说，最好的数据仓库是什么时，我们会根据他们的具体需求来考虑答案。通常，他们需要几乎实时的数据，价格低廉，不需要维护数据仓库基础设施。在这种情况下，我们建议他们使用现代的数据仓库，如Redshift, BigQuery，或Snowflake。
8 月 13 日，RocketMQ 迎来了 5.0 版本，这是继 2017 年发布 4.0 版本之后时隔 5 年的一次重大更新。5.0 版本进行了架构重塑，新增或者修改了超过 60% 的代码，但是对 4.0 的所有功能以及整体架构进行了无缝兼容，且没有引入任何外部依赖。而且其中非常重要的一点是，RocketMQ 兼容了开源 Flink 生态。与 Kafka 只是作为 Flink 的上下游数据不同，RocketMQ 直接实现了 Flink 的基础功能或者算子，并首创性地兼容了 Flink/Blink SQL 标准以及 UDF/UDAF/UDTF。为什么 RocketMQ 会选择将 Flink 融合到一起？这样带来哪些好处？适合哪些应用场景？为解答这些问题，InfoQ 采访了 RocketMQ 开源负责人杜恒和 rocketmq-streams cofunder 袁小栋。
随着各行各业移动互联和云计算技术的普及发展，大数据计算已深入人心，最常见的比如 flink、spark 等。这些大数据框架，采用中心化的 Master-Slave 架构，依赖和部署比较重，每个任务也有较大开销，有较大的使用成本。RocketMQ Streams 着重打造轻量计算引擎，除了消息队列，无额外依赖，对过滤场景做了大量优化，性能提升 3-5 倍，资源节省 50%-80%。
过去的项目开发中，我们常常选用的数据库是mysql，mysql以其体积小、速度快等优势，备受中小型项目的青睐。随着项目数据量的迅速增长，mysql已无法满足我们的项目需求，数据迁移迫在眉睫。经多方对比综合考虑，我们选择了tidb分布式数据库。但是数据迁移后我们遇到一个问题，之前mysql数据库中，我们采用的是自增id主键，可选用的tidb又对自增主键不是很友好，所以我们选用了另一种主键生成方式：Snowflake算法。
Apache Kafka 是一个分布式消息发布订阅系统。它最初由 LinkedIn 公司基于独特的设计实现为一个分布式的提交日志系统，之后成为 Apache 项目的一部分。Kafka 系统快速、可扩展并且可持久化。它的分区、可复制和可容错等特性都是非常出色的。
编者注：本系列与读者共同分析数据库行业的最新动态。关注“数据和云 ( OraNews）”公众号回复：下载 。可以找到下载链接。 本次推荐文档来自 西南证券研究发展中心 数据库专题报告《沐风栉雨，砥砺前行》。 核心观点 数据库是信息化时代的基石产品 数据库具有处理、存储、管理数据的功能，在信息化时代扮演着至关重要的角色。随着数据量的不断增加和数据形式的不断多样化，非关系型数据库和开源 数据库也应运而生... 数据库厂商近年来也在积极推进云数据库产品，以期能够未来优先抢占云数据库这块 “蛋糕 ”。 2. 数据
作为一个全球人数最多的国家，一个再怎么凄惨的行业，都能找出很多的人为之付出。而在这个互联网的时代，IT公司绝对比牛毛还多很多。但是大多数都是创业公司，长期存活的真的不多。大多数的IT项目在注册量从0-100万，日活跃1-5万，说实话就这种系统随便找一个有几年工作经验的高级工程师，然后带几个年轻工程师，随便干干都可以做出来。 因为这样的系统，实际上主要就是在前期快速的进行业务功能的开发，搞一个单块系统部署在一台服务器上，然后连接一个数据库就可以了。接着大家就是不停的在一个工程里填充进去各种业务代码，尽快把公司的业务支撑起来。
数据无论是对于我们个人来说，还是对于公司来说，都是非常重要的。那么，如何储存数据也是许多公司面临的问题，直接数据既要保证安全性，又要保证我们在储存的时候便捷性，访问的时候也需要快速响应。那么有什么样的方式能够储存这样如此庞大的数据量呢？在云数据仓库 Snowflake，提出云数据库概念之前，大部分的企业都会使用传统数据库来解决这一难题。那么，云数据仓库的意义是什么呢？
snowflake是Twitter开源的分布式ID生成算法。传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持，比如MySQL的自增键，Oracle的自增序列等。数据分片后，不同数据节点生成全局唯一主键是非常棘手的问题。同一个逻辑表内的不同实际表之间的自增键由于无法互相感知而产生重复主键。虽然可通过约束自增主键初始值和步长的方式避免碰撞，但需引入额外的运维规则，使解决方案缺乏完整性和可扩展性。io.shardingsphere.core.keygen.DefaultKeyGenerator
说起ID，特性就是唯一，在人的世界里，ID就是身份证，是每个人的唯一的身份标识。在复杂的分布式系统中，往往也需要对大量的数据和消息进行唯一标识。举个例子，数据库的ID字段在单体的情况下可以使用自增来作为ID，但是对数据分库分表后一定需要一个唯一的ID来标识一条数据，这个ID就是分布式ID。对于分布式ID而言，也需要具备分布式系统的特点：高并发，高可用，高性能等特点。
通用唯一识别码 组成部分：当前日期和时间+时钟序列+全局唯一网卡mac地址获取 执行任务数：10000 所有线程共耗时：91.292 s 并发执行完耗时：1.221 s 单任务平均耗时：9.1292 ms 单线程最小耗时：0.0 ms 单线程最大耗时：470.0 ms 优点： 代码实现简单、不占用宽带、数据迁移不影响。 缺点： 无序、无法保证趋势递增、字符存储、传输、查询慢。
前面已经讲过了雪花算法，里面使用了System.currentTimeMillis()获取时间，有一种说法是认为System.currentTimeMillis()慢，是因为每次调用都会去跟系统打一次交道，在高并发情况下，大量并发的系统调用容易会影响性能（对它的调用甚至比new一个普通对象都要耗时，毕竟new产生的对象只是在Java内存中的堆中）。我们可以看到它调用的是native 方法：
前面已经讲过了雪花算法 ，里面使用了System.currentTimeMillis()获取时间，有一种说法是认为System.currentTimeMillis()慢，是因为每次调用都会去跟系统打一次交道，在高并发情况下，大量并发的系统调用容易会影响性能（对它的调用甚至比new一个普通对象都要耗时，毕竟new产生的对象只是在Java内存中的堆中）。我们可以看到它调用的是native 方法：
这篇文章，我们来聊一下对于一个支撑日活百万用户的高并系统，他的数据库架构应该如何设计？
看到这个题目，很多人第一反应就是：分库分表啊！但是实际上，数据库层面的分库分表到底是用来干什么的，其不同的作用如何应对不同的场景，我觉得很多同学可能都没搞清楚。 用一个创业公司的发展作为背景引入—— 假如我们现在是一个小创业公司，注册用户就 20 万，每天活跃用户就 1 万，每天单表数据量就 1000，然后高峰期每秒钟并发请求最多就 10。 天呐！就这种系统，随便找一个有几年工作经验的高级工程师，然后带几个年轻工程师，随便干干都可以做出来。 因为这样的系统，实际上主要就是在前期进行快速的业务功能开发，搞一个单块系统部署在一台服务器上，然后连接一个数据库就可以了。 接着大家就是不停地在一个工程里填充进去各种业务代码，尽快把公司的业务支撑起来。 如下图所示：
change streams从本质上来说是提供了一种基于mongoDB的CDC（Change Data Capture）的解决方案。所谓的CDC就是变化数据捕获，简单理解为监听数据库系统的变更就好。下面的图中描述了CDC的典型场景，左边的是主数据库，不同的客户端可以向其中插入数据（有前后关系）；中间是一个队列，这些数据变化都会被放到里面；右边是派生数据系统，消费队列里的变化，然后用作搜索和数据仓库等应用。市场上也不乏这种专门做CDC的产品，比如：HEVO，其宣称的优势包括：1）简单易上手，无需代码；2）良好的交互式用户界面；3）支持多种数据源；4）可容错的安全架构等。
streams流是Node中的最好的特性之一。它在我们的开发过程当中可以帮助我们做很多事情。比如通过流的方式梳理大量数据，或者帮我们分离应用程序。
众所周知，数据库很容易成为应用系统的瓶颈。单机数据库的资源和处理能力有限，在高并发的分布式系统中，可采用分库分表突破单机局限。
原文：http://www.enmotech.com/web/detail/1/756/1.html
系统唯一ID是我们在开发过程中遇到的一个常见问题，简单的来说，生成ID的方式有很多种，它们适应不同性能。
坚持是一件比较难的事，坚持并不是自欺欺人的一种自我麻痹和安慰，也不是做给被人的，我觉得，坚持的本质并没有带着过多的功利主义，如果满是功利主义，那么这个坚持并不会长久，也不会有好的收获，坚持应该带着热爱，带着思想，把它当成习惯，但是并不是内卷，而是一种发自内心的喜欢和平实！希望我们都有自己的坚持，坚持写一篇文章，坚持爱一个人，坚持读一本书，坚持走向远方！
很多场景需要使用全局唯一ID，用来标识唯一一条消息，唯一一笔交易，唯一一个用户，唯一一张图片等等。 传统数据库表的自增主键是很简单的一种实现方式，前提是你没有分库，也没有分表，如果你分表了，id就会重复，失去唯一性：
相信看到这个标题，很多人的第一反应就是：对数据库进行分库分表啊！但是实际上，数据库层面的分库分表到底是用来干什么的，其不同的作用如何应对不同的场景，我觉得很多同学可能都没搞清楚。
摘要：本文整理自 XTransfer 资深 Java 开发工程师、Flink CDC Maintainer 孙家宝在 Flink CDC Meetup 的演讲。主要内容包括：
通常使用Spark的流式框架如Spark Streaming，做无状态的流式计算是非常方便的，仅需处理每个批次时间间隔内的数据即可，不需要关注之前的数据，这是建立在业务需求对批次之间的数据没有联系的基础之上的。
🍁 作者：知识浅谈，CSDN签约讲师，CSDN原力作者，后端领域优质创作者，热爱分享创作 💒 公众号：知识浅谈 📌 擅长领域：全栈工程师、爬虫、ACM算法 🤞这次都给他拿下🤞 为什么 MySQL分库分表使用逐渐增多了？ 主要是数据量逐渐增多产生了这些解决方案。 正菜来了🛴🛴🛴 🎈Mysql环境 ds0:192.168.31.241 ds1:192.168.31.242 ds2:192.168.31.243 数据库：testdb 🎈项目配置 🍮依赖引入 <dependencies>
众所周知，数据库很容易成为应用系统的瓶颈。单机数据库的资源和处理能力有限，在高并发的分布式系统中，可采用分库分表突破单机局限。本文总结了分库分表的相关概念、全局ID的生成策略、分片策略、平滑扩容方案、以及流行的方案。
尽管商业智能分析有用，但它们无法以效益化的方式满足面向数据应用的实时性、延迟性和并发性的需求。
如果有一个数据库gts中，存在一张订单表t_order_summary，这个表的数据量特别大。现在考虑对这张表进行水平拆分。具体的拆分方法有如下两种。
作者：王克锋 出处：https://kefeng.wang/2018/07/22/mysql-sharding/ 众所周知，数据库很容易成为应用系统的瓶颈。单机数据库的资源和处理能力有限，在高并发的分布式系统中，可采用分库分表突破单机局限。本文总结了分库分表的相关概念、全局ID的生成策略、分片策略、平滑扩容方案、以及流行的方案。 1 分库分表概述 在业务量不大时，单库单表即可支撑。当数据量过大存储不下、或者并发量过大负荷不起时，就要考虑分库分表。 1.1 分库分表相关术语 读写分离: 不同的数据库，同步相同
2021年有两条主线，一个是生态系统和商业模式的成熟，比如早在2020年就上市的云数据仓库公司 Snowflake 公司站稳了在资本市场的脚跟、Databricks、Dataiku、Datarobot 等公司估值更高了并且募集了大量的资金，甚至正在追求 IPO；另一方面则是新一代的数据和机器学习创业公司正在崛起，无论是几年前还是几个月前成立的公司都在过去一年左右经历了突飞猛进的增长。
依据数据库的第二范式，数据库中每一个表中都需要有一个唯一的主键，其他数据元素和主键一一对应。
在业务开发中，大量场景需要唯一ID来进行标识：用户需要唯一身份标识、商品需要唯一标识、消息需要唯一标识、事件需要唯一标识等，都需要全局唯一ID，尤其是复杂的分布式业务场景中全局唯一ID更为重要。于是就会引申出分布式系统中唯一主键ID生成策略问题。
但是当数据量非常大时，仅靠数据库的自增主键是远远不够的。不仅是因为单表容量有限，数据库自增主键的性能也并不高。此外，某些数据库并不自带主键自增功能，需要业务代码来实现（比如Redis缓存）。
多年前，我们在介绍 java8 新特性的时候，提到过作为 java8 一个亮点的新特性 -- streams api
客观地说，如果一定要用uuid生成订单号这类东西也能凑合用，但是它有着罄竹难书的“罪行”：肉眼可见，它是无序的；长度是64位数字字母随机组合的字符串，占用空间巨大；完全不具备业务属性，也就是说使用uuid你完全无法推算出它到底是干嘛的；因为无序，所以趋势递增就更不用指望了；所以用uuid生成订单号就是自杀行为，适合它的是类似生成token令牌的场景。
● Producer API 允许一个应用程序发布一串流式数据到一或多个Kafka topic。
系统唯一ID是我们在设计一个系统的时候常常会遇见的问题，也常常为这个问题而纠结。生成ID的方法有很多，适应不同的场景、需求以及性能要求。所以有些比较复杂的系统会有多个ID生成的策略。下面就介绍一些常见的ID生成策略。
来源：阿里研究院 本文约4800字，建议阅读5分钟 云原生正在重构数据库市场的竞争格局。 本期嘉宾： 李飞飞 阿里巴巴集团副总裁、达摩院数据库与存储实验室负责人 王建民 清华大学软件学院院长 安筱鹏 阿里研究院副院长 2020年9月17日，美国数据库公司Snowflake上市，市值一度超过1000亿美元，但其2019年销售额不到3亿美元。 2020年微软取代了Oracle，历史上第一次站在了数据库全球市场的榜首地位。 亚马逊创始人贝索斯曾说，“The real battle will be in dat
存算分离，现在已经成为云原生数据库的标配， 开始大规模流行。存算分离后， 进一步使计算单元和存储单元解耦，每个单元可以实现单独的动态扩缩容，并且可以通过冗余配置，实现对单点故障的容忍度， 可以说是近年来数据库市场上的一大进步。
Apache Kafka 是由 Apache 软件基金会开发的开源分布式流处理平台。最初是由 LinkedIn 团队开发，用于处理该公司产生的大量实时数据。Kafka 的设计旨在处理大型数据流并提供实时数据处理能力。
小伙伴们好呀，我是 小羊，今天来分享下最近研究的分布式 ID 生成系统 —— Leaf ，一起来思考下这个分布式ID的设计吧 👇
本系列为 CMU 15-445 Fall 2022 Database Systems 数据库系统 [卡内基梅隆] 课程重点知识点摘录。
Node stream 比较难理解，也比较难用，但 “流” 是个很重要而且会越来越常见的概念（fetch 返回值就是流），所以我们有必要认真学习 stream。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
