本文讲述了作者团队在KV存储方面经历的两个时期以及遇到的问题，并提出了改进方案。通过对比业内KV存储组件，作者认为毫秒服务引擎在易用性、可运维性和黑盒化运维方面具有优势。
无论你其他方面做的比Old SQL好再多，SQL和ACID是刚需，这个命你革不掉的。你不支持SQL，就不会有多少人用。所以近几年很多之前不支持SQL的数据库，都开始支持SQL了，甚至于像Spark、Flink这样的流计算平台，也都开始支持SQL。当然，虽然说支持SQL，但这里面各个产品的支持程度是参差不齐的，多多少少都有一些缩水。对于ACID的支持，基本上等同于就没有。
KubeBrain 是字节跳动针对 Kubernetes 元信息存储的使用需求，基于分布式 KV 存储引擎设计并实现的取代 etcd 的元信息存储系统，支撑线上超过 20,000 节点的超大规模 Kubernetes 集群的稳定运行。 项目地址：github.com/kubewharf/kubebrain 背 景 分布式应用编排调度系统 Kubernetes 已经成为云原生应用基座的事实标准，但是其官方的稳定运行规模仅仅局限在 5,000 节点。这对于大部分的应用场景已经足够，但是对于百万规模机
对象存储服务构架设计 基本构架组成 1.网关服务(Gateway): 客户端发送请求(Request)到网关服务(Gateway)再由网关服务实现将客户端请求转换为相应的数据(Data)、元数据(Me
由于 MySQL 类带 Schema 类存储系统的设计问题，不支持快速的列扩充，实际业务中，一个业务实体的属性随着业务的发展是一定会膨胀的。这样持续在 MySQL 上加列往往就会捉襟见肘。比如我的历史业务订单表有 50 个字段，虽然会对历史数据进行归档，但在线上还是会有千万甚至亿级的数据，这时候在 MySQL 上加列一般使用 PTOSC 或者 Ghost 来改表，两者设计有区别，但缺点都一样：慢。
互联网产品中存在很多种类的数据，不同种类的数据对于存储系统的一致性，可用性，扩展性的要求是不同的。比如，金融、账号相关的数据对一致性要求比较高，社交类数据例如点赞对可用性要求比较高。还有一些大规模元数据存储场景，例如对象存储的索引层数据，对一致性，扩展性和可用性要求都比较高，这就需要底层存储系统在能够保证数据强一致的同时，也具有良好的扩展性。在数据模型上，有些数据比如关系，KV 模型足够用；有些数据比如钱包、账号可能又需要更丰富的数据模型，比如表格。
4月16日（周六）20:00 - 22:00，每月一期的数据库论文解读又来啦！ 自数据库诞生以来，新的应用需求就在不断涌现，比如巨大的数据量、更短的数据处理时间、更高的可靠性、新的数据类型、更强的性能。为不断探索新的应用领域，业界众多厂商、技术人员纷纷对数据库技术进行一轮又一轮的创新性探索，前沿技术热点也如雨后春笋般涌现。 作为国内领先的数据库厂商，腾讯云数据库TDSQL一直致力于推动数据库基础研究创新和工程创新，积极探索AI、新硬件、云计算等技术与数据库技术的深度融合发展，同时充分释放领先技术的红利，助
磁盘自从2000年以来，带宽100兆左右，没有太大的变化，延时也没有太大的变化，往后我觉得即使有优化也不会很大。 另外一个，IBM 2020年要构建一个大的存储系统，它有2 GIOP/sec，需要5
Fusion-NewSQL是由滴滴自研的在分布式KV存储基础上构建的NewSQL存储系统。Fusion-NewSQ兼容了MySQL协议，支持二级索引功能，提供超大规模数据持久化存储和高性能读写。
大数据利器.xls 类别 名称 官网 备注 查询引擎 Phoenix https://phoenix.apache.org/ Salesforce公司出品，Apache HBase之上的一个SQL中间层，完全使用Java编写 Kylin http://kylin.io eBay开源的基于Hadoop的分布式OLAP分析引擎，旨在减
这篇文章将主要描述，如何使用我最近新开发的 WAL（Write Ahead Log）构建属于你自己的 KV 存储引擎。
1 TIDB 通过了分层的分布式架构的解决方案,(分布式的KV存储系统, 分布式的SQL 计算系统, 分布式的HTAP架构系统) 解决了更细力度的分片技术,通过细粒度的分配, 提高了分片数据的弹性,提供了对数据的强有力的扩展和伸缩性. 基于multi-raft 的方式将数据的复制变得离散.
Consul是一种分布式服务发现和配置管理工具，由HashiCorp开发和维护。它提供了一种可扩展的，高可用的系统，可以实现服务发现，健康检查和KV存储。Consul的设计思路是将所有的服务注册到一个中心位置，称为服务注册中心，由此统一管理和发现所有的服务。
米从2012年开始正式涉足开源，不光积极参与开源社区，修复bug，提交代码，同时逐渐将自研的系统或框架进行开源，先后开源了企业级、高可用、可扩展的监控系统Open-Falcon、分布式 Key-Value存储系统Pegasus、移动端深度学习框架MACE以及智能SQL优化与改写工具SOAR。
在分布式系统中，如何管理和协调各个节点之间的状态一直是一个核心问题。etcd作为一种开源、高可用的分布式键值对存储系统，为解决这个问题提供了一种优雅的方案。从这篇文章开始，我们将一起走进etcd的世界，了解它的基本概念、优势以及如何使用它进行分布式高可用的键值对存储。
基于 Bitcask 模型，兼容 Redis 数据结构和协议的高性能 KV 存储引擎 设计细节
流媒体系统，主要是视频流媒体系统。比如 YouTube，比如 Netflix，比如爱奇艺，还有优酷。再一个许多大型的社交平台上，几乎是一定要内嵌流媒体服务的，以支持用户上传视频类型的内容。
在所有分布式系统实现中，很多技术点是基于日志实现的，可以认为日志是分布式系统中除了网络通信之外另一个实现基础。我做的第一个类似于hadoops的分布式任务调度处理系统就是基于raft+日志实现的，所以我们这次聊聊日志之于分布式系统的意义。
传统上，无论是基于 MapReduce 的数据流，还是基于 Spark/Flink 的流水线，其数据的来源和最终落脚点都可以是分布式存储（比如 GFS、HDFS、S3）。
ETCD 是一个开源的、高可用的键值存储系统，它被广泛用于配置管理和服务发现。ETCD 使用 Raft 算法来保证数据的强一致性和高可用性。它是 Kubernetes 集群的核心组件之一，用于存储集群配置和状态信息。
4月10日，腾讯云学院邀请到了讲师刘迪，进行了一场直播课，课程主题是：云数据库之从青铜到王者。整个直播课精彩纷呈，广受好评。
本文并不介绍服务发现的基本原理。除了一致性算法之外，其他并没有太多高深的算法，网上的资料很容易让大家明白上面是服务发现。 想直接查看结论的同学，请直接跳到文末。 目前，市面上有非常多的服务发现工具，《Open-Source Service Discovery》一文中列举了如下开源的服务发现工具。
腾讯云存储首席技术专家 温涛 受邀在6月2日由焉知汽车主办的第三届焉知智能电动汽车年会“ADAS与智能驾驶论坛”中分享自动驾驶和AIGC场景下的存储解决方案，下面让我们一起回顾下温涛的精彩演讲：
首先提前祝大家中秋快乐，今天我们分享的文章来自云栖大会嘉宾：阿里云专家 封神的分享
http://blog.csdn.net/cyblueboy83/article/details/44037487
负责B站基础架构存储/微服务质量保障，一直从事中间件的质量工程建设工作，专注于分布式系统测试方案设计，应用和推广。
Riak 有很多产品，其中就包括一个分布式 KV 存储系统 Riak KV，他们的产品具有可插拔的存储引擎，可以独立于整个系统，单独开发和测试新的存储引擎。
小红书是一个社区属性为主的产品，它涵盖了各个领域的生活社区，并存储海量的社交网络关系。
最近几年存储介质得到了快速发展，单位存储介质的性能越来越高，原来 HDD 机械硬盘读写速度不足 100 IOPS，如今 NVMe SSD 可以达上百万 IOPS，时延从毫秒压缩到微秒，系统的性能瓶颈也由存储硬件本身逐渐转移到网络及处理器上，传统文件系统、调度器等方法无法充分发挥新存储介质的性能，成为存储系统的新瓶颈。尤其对于大型互联网后端系统，这些瓶颈不仅会对业务系统带来低效率，而且会影响到系统可靠性。
张艺文，华中科技大学武汉国家光电实验室直博二年级，主要研究方向为基于新型存储设备的 KV 存储。PingCAP Talent Plan 第二期优秀学员。
etcd 是一个 golang 编写的分布式、高可用的一致性键值存储系统，是目前容器编排领域火热的 Kubernetes(k8s) 内置的服务发现与节点一致性中间件，用于提供可靠的分布式键值（key-value）存储、配置共享和服务发现等功能。etcd 可以用于存储关键数据和实现分布式调度，在现代化的集群运行中能够起到关键性的作用。
但是这条路还是有很多人走，而且也留下了相应的封神之法，今天推荐的就是一个相当详细的架构师框架学习图。内容很充实，看目录的时候，滚动条滚了很多次！学习起来肯定也不是那么轻松地，毕竟是封神，肯定有点难度。
存储，是我们码农每天都要打交道的事情，而当我们面对RAID，SAN，对象存储，分布式数据库等技术的时候，又往往似是而非，存储成了我们熟悉的陌生人。
The Google File System (2003) MapReduce: Simplified Data Processing on Large Clusters (2004) Bigtable: A Distributed Storage System for Structured Data (2006)
类别名称官网备注（可重点关注加粗部分）查询引擎Phoenixhttps://phoenix.apache.org/Salesforce公司出品，Apache HBase之上的一个SQL中间层，完全使用Java编写Prestohttp://prestodb.io/Facebook开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节Sharkhttp://shark.cs.berkeley.edu/Spark上的SQL执行引擎，已演化成Spark-SQL和Hive on SparkPigh
一分钟了解mongodb（2014-11-09） 一、mongo的由来 截取自英文俚语humongous，意为”巨大的”，是否表明mongodb在设计之初就是为大数据量处理而生呢？ ---- 二、mongodb是个啥 mongodb是个可扩展、高性能、开源、面向文档(document-oriented)的数据库，由c++实现。 http://www.mongodb.org/ 官网首页最显著的位置用了”agile”和”scalable”这两个词来形容它： （1）agile：轻快的，敏捷的； （2）scalab
本文旨在介绍 vivo 内部的特征存储实践、演进以及未来展望，抛砖引玉，吸引更多优秀的想法。
原始数据的数据量太大了，能存下来就很不容易了，这个数据是没法直接来给业务系统查询和分析的：
保存像图片、音视频这类大文件就是对象存储。不仅有很好的大文件读写性能，还可通过水平扩展实现近乎无限容量，并兼顾服务高可用、数据高可靠。
本以为本周的 GitHub 和十二月一样平平无奇就那么度过了，结果 BackgroundMattingV2 重新刷新了本人的认知，还能这种骚操作在线实时抠视频去背景呢！简直是设计师的福音啊。更有意思的是 imgdiff 这个“找茬”项目，它可以快速找寻两张图片的差异，不！这不是它的神奇之处。它的神奇之处在于，它的描述仅有一句话：我比 fastest 的那个识别项目（odiff）更快，这就是技术最有意思的地方，一山总比一山高。#在 GitHub 吃瓜#
一分钟了解mongodb mongo的由来 截取自英文俚语humongous，意为”巨大的”，是否表明mongodb在设计之初就是为大数据量处理而生呢？ mongodb是个啥 mongodb是个可扩展、高性能、开源、面向文档(document-oriented)的数据库，由c++实现。 http://www.mongodb.org/ 官网首页最显著的位置用了”agile”和”scalable”这两个词来形容它： （1）agile：轻快的，敏捷的； （2）scalable：可扩展； mongodb的特点 （1
正因如此，国家通过“东数西算”工程，布局建设“新型算力网络体系”，推动算力集约化发展。
点击上方蓝字每天学习数据库 ---- 【直播课程】由腾讯云数据库产品团队的主要技术负责人、中国计算机行业协会开源数据库专业委员会副会长刘迪（迪B哥）担任讲师，从数据库基础实践入手，讲述数据库的核心知识与云数据库实战案例，帮助云数据库开发人员，梳理云数据库开发使用中的各种问题。 【上期直播回顾】 数据库修炼系列第一讲：MySQL架构与引擎。 视频图解奉上： 学习MySQL注意事项：语法大全可以帮助进行开发项目，但是学懂MySQL，只靠语句学习是片面的；学习源码在初期无法帮助把握精髓，不推荐初期即看
当提到文件系统，大部分人都很陌生。但我们每个人几乎每天都会使用到文件系统，比如大家打开 Windows、macOS 或者 Linux，不管是用资源管理器还是 Finder，都是在和文件系统打交道。如果大家有自己动手装过操作系统的话，第一次安装的时候一定会有一个步骤就是要格式化磁盘，格式化的时候就需要选择磁盘需要用哪个文件系统。
etcd是一个开源分布式kv存储系统，最近被CNCF列为孵化项目。etcd在许多分布式系统中得到了广泛的应用。例如，Kubernetes使用etcd作为分类账，在集群中存储各种元信息。本文首先介绍优化的背景。然后介绍etcd内部存储的工作机制和具体的优化实现。最后给出了评估结果。
📷 作者｜小智 写在前面 7 月 9 日，小米在中国香港挂牌上市，股票代码 1810.hk。据了解，小米将中国香港 IPO 报价 16.60 港元，较发行价低 2.35%，首日就破发，净筹资 239.75 亿港元，总市值 3714 亿港元；共收到约 10.35 亿股认购申请，相当于超额认购约 9.5 倍。知情人士称，李嘉诚、马云、马化腾 3 人就认购小米份额超过 2.3 亿美元。小米早期投资人，回报达到 866 倍。 除了手机等核心业务之外，小米有哪些开源技术同样值得关注呢？I
我自己就是从业务自学转入数据库内核研发岗位的，根据自己的经历，简单总结了一下入门数据库相关的学习路线、学习资料、项目书籍推荐等，大家可以参考。 必看课程
作者 | 高昌健 当提到文件系统时，大部分人都很陌生。但实际上我们几乎每天都会使用它。比如，大家打开 Windows、macOS 或者 Linux，不管是用资源管理器还是 Finder，都是在和文件系统打交道。如果大家曾经手动安装过操作系统，一定会记得在第一次安装时需要格式化磁盘，格式化时就需要为磁盘选择使用哪个文件系统。 维基百科上的关于文件系统 [1] 的定义是： In computing, file system is a method and data structure that the
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
