Redis 作为高性能缓存被广泛应用到各个业务, 比如游戏的排行榜, 分布式锁等场景。经过在 IEG 的长期运营, 我们也遇到 Redis 一些痛点问题, 比如内存占用高, 数据可靠性差, 业务维护缓存和存储的一致性繁琐。由 腾讯互娱 CROS DBA 团队 & 腾讯云数据库团队联合研发的 Tendis 推出了: 缓存版 、 混合存储版 和 存储版 三种不同产品形态, 针对不同的业务需求, 本文主要介绍 混合存储版 的整体架构, 并且详细揭秘内部的原理。
Redis 作为高性能缓存被广泛应用到各个业务，比如游戏的排行榜，分布式锁等场景。
作者：jingjunli，腾讯 IEG 后台开发工程师 Redis 作为高性能缓存被广泛应用到各个业务, 比如游戏的排行榜, 分布式锁等场景。经过在 IEG 的长期运营, 我们也遇到 Redis 一些痛点问题, 比如内存占用高, 数据可靠性差, 业务维护缓存和存储的一致性繁琐。由 腾讯互娱 CROS DBA 团队 & 腾讯云数据库团队联合研发的 Tendis 推出了: 缓存版 、 混合存储版 和 存储版 三种不同产品形态, 针对不同的业务需求, 本文主要介绍 混合存储版 的整体架构, 并且详细揭秘内部
通常情况下，我们在设计程序的时候，会在客户端和存储层之间加入缓存层(例如redis和memcache)。存储层一般用来持久化数据，而缓存层则是为了更快的返回所需要的的数据结果。
现有的存储系统经过长期发展，种类及其繁多，架构也各不相同，按照从底层到上层的思路，大致可以分为：物理层、协议层、架构层、连接层四个层次。接下来我们由下往上详细分析。
目前在eBay的Hadoop集群有数千个节点，支持成千上万的用户使用。他们的Hadoop集群存储数百PB的数据。这篇文章中将探讨eBay如何基于数据使用频率优化大数据存储。这种方法有助于有效地降低成本。 eBay对于大家来说都非常熟悉，是美国的一家电商网站，对于他们来讲每天的数据都是海量的。目前在eBay的Hadoop集群有数千个节点（具体不方便透漏），支持成千上万的用户使用。他们的Hadoop集群存储数百PB的数据。这篇文章中将探讨eBay如何基于数据使用频率优化大数据存储。这种方法有助于有效地降低成本。
Redis 作为高性能缓存经常被广泛应用到各个业务——如游戏的排行榜、分布式锁等场景。 但Redis也并非万能的，在长期的使用过程中，我们也遇到 Redis 一些痛点问题, 比如内存占用高, 数据可靠性差, 业务维护缓存和存储的一致性繁琐等。 因此，腾讯云数据库Tendis诞生了，今天，我们就结合视频，一起回顾腾讯云数据库Tendis混合存储版的整体架构, 并且详细揭秘其内部的原理。 进入“腾讯云数据库”公众号，后台回复“0331李景军”，即可下载分享PPT。 Redis&Tendis 使用 Redis
1、Hadoop 及其承诺 众所周知，商用硬件可以组装起来创建拥有大数据存储和计算能力的Hadoop集群。将数据拆分成多个部分，分别存储在每个单独的机器上，数据处理逻辑也在同样的机器上执行。 例如
来源：https://cloud.google.com/blog/products/databases/alloydb-for-postgresql-intelligent-scalable-storage
主要完成一些类似连接处理、授权认证和相关安全方案。在这个层面引入了线程池的概念，为通过认证安全访问的客户端提供线程。同样，基于SSL的安全链接可以在这个层面实现。服务器还将验证每个安全访问客户端的操作权限。
Docker镜像在设计上将镜像元数据与镜像文件的存储完全隔离开了。与Docker像管理相关的概念，包括repository, image, layer。 Docker在管理镜像层元数据时，采用的也正是从上至下repository, image, layer三个层次。由于Docker以分层的形式存储镜像，所以repository与image这两类元数据并无物理上的镜像文件与之对应，而layer这种元数据则存在物理上的镜像层文件与之对应。
微信的后台数据存储随着微信产品特性的演进，经历了数次的架构改造，才形成如今成熟的大规模分布式存储系统，有条不紊的管理着由数千台异构机型组成的机器集群，得以支撑每天千万亿级的访问、键值以及 PB 级的数据。
本文大部分内容，摘自docker官方文档.Understand images, containers, and storage drivers
最上层是一些客户端和链接服务，包含本地sock 通信和大多数基于客户端/服务端工具实现的类似于 TCP/IP的通信。主要完成一些类似于连接处理、授权认证、及相关的安全方案。在该层上引入了线程池的概念，为通过认证安全接入的客户端提供线程。同样在该层上可以实现基于SSL的安全链接。服务器也会为安全接入的每个客户端验证它所具有的操作权限。
随着云时代的到来，数据库也开始拥抱云数据库时代，各类数据库系统（OLTP、OLAP、NoSQL等）在各内外云平台（AWS、Azure、阿里云）百花齐放，有开源的MySQL、PostgreSQL、MongoDB，传统数据库厂商的SQLServer、Oracle，云厂商自研的Aurora、Redshift、PolarDB、AnalyticDB、AzureSQL等。有些数据库还处于Cloud Hosting阶段，仅仅是将原有架构迁移到云主机上，利用了云的资源。有些数据库则已经进入了Cloud Native阶段，基于云平台IAAS层的基础设施，构建弹性、serverless、数据共享等能力。
最上层是一些客户端和链接服务，包含本地sock 通信和大多数基于客户端/服务端工具实现的类似于TCP/IP的通信。主要完成一些类似于连接处理、授权认证、及相关的安全方案。在该层上引入了线程池的概念，为通过认证安全接入的客户端提供线程。同样在该层上可以实现基于SSL的安全链接。服务
而【WebKit 技术内幕】是基于 WebKit 的 Chromium 项目的讲解。
本文介绍了Amazon Aurora的架构和原理，重点探讨了Aurora的存储、事务、高可用、成本节省等方面的特性。Aurora由三个主要组件构成：Aurora主实例、Aurora只读实例和Aurora存储。Aurora主实例和只读实例通过Aurora存储进行数据同步。Aurora支持多可用区部署，并具有自动数据恢复功能。使用Aurora可以降低延迟并提高吞吐量，同时保持高可用性。此外，Aurora还提供了灵活的扩展和收缩能力。
缓存穿透是指查询一个根本不存在的数据，缓存层和存储层都不会命中，但是出于容错的考虑，如果从存储层查不到数据则不写入缓存层
Facebook AI又出新作，在神经网络中加入一个结构化存储器层，极大扩充了网络容量和参数数量，性能提升明显，但计算成本基本保持不变，尤其适合NLP任务。
Linux 的命名空间和控制组分别解决了不同资源隔离的问题，前者解决了进程、网络以及文件系统的隔离，后者实现了 CPU、内存等资源的隔离，但是在 Docker 中还有另一个非常重要的问题需要解决 - 也就是镜像。
题图摄于北京颐和园 （未经授权，请勿转载本公众号文章） 上篇文章和大家说到 Kubernetes 无法根本性移除 Docker的影响，原因是 Docker 发明的镜像格式极具革命性，无可替代。不管 Kubernetes 那边风吹浪打，Docker 我自巍然不动。从本篇开始和大家说说镜像那些事，共分四次连载，从《Harbor权威指南》一书节选的纯技术干货，敬请关注、转发和收藏。 第一篇：容器镜像的结构 第二篇：OCI 镜像规范 第三篇：OCI 制品 第四篇：Registry 的作用原理 《Harbor权威指
服务层负责与客户层进行连接处理、处理以及执行SQL语句等,主要包含连接器、查询缓存、优化
贴源层，一般来说抽取的是源系统的数据，是一个数据缓冲区，和源系统保持一致，但并不是说贴源层的数据就可原来的一模一样不变了
在做业务架构的过程中，你是否遇到过类似的痛点？ （1）数据量太大，容量复杂性上移到业务层； （2）并发量太大，性能复杂性上移到业务层； （3）前台与后台存储异构，满足不同查询需求； （4）线上与线下存储异构，满足大数据需求； （5）存储系统迁移成本高，不敢轻易做重构； （6）... 职业生涯十五年，基本都在使用MySQL做线上业务的存储。最近这几年，遇到的问题慢慢多起来，严重影响了研发效率。TiDB近年甚火，于是最近做了一些调研，与大家分享。 如一贯风格，更多的聊：TiDB究竟解决什么问题，以及为什么这
1、写在前面 微信的后台数据存储随着微信产品特性的演进，经历了数次的架构改造，才形成如今成熟的大规模分布式存储系统，有条不紊的管理着由数千台异构机型组成的机器集群，得以支撑每天千万亿级的访问、键值以及 PB 级的数据。 作为以手机为平台的移动社交应用，微信内大部分业务生成的数据是有共性可言的：数据键值带有时间戳信息，并且单用户数据随着时间在不断的生成。我们将这类数据称为基于时间序的数据。比如朋友圈中的发表，或者移动支付的账单流水等业务生成的数据都满足这样的特征。基于时间序的数据都天然带有冷热分明属性―
平时存储大量数据的时候我们一般会使用数据库对数据进行存储，但是大部分人只是处于“ 用 ”的层次，并没有往深层次的了解它的内部结构。相当于给你一个工具，你只是根据说明书使用这个工具，但是不了解这个工具的原理。那这样就不能更好的发挥工具的潜在价值所以本文就来简单的介绍一下MYSQL数据库的基本架构
Docker 镜像是一个特殊的文件系统，除了提供容器运行时所需的程序、库、资源、配置等文件外，还包含了一些为运行时准备的一些配置参数（如匿名卷、环境变量、用户等）。
关于负载均衡的一切
旨在最大化其数据资产的企业正在采用可扩展、灵活且统一的数据存储和分析方法。这种趋势是由负责构建与不断变化的业务需求相一致的基础架构的企业架构师推动的。现代数据湖架构通过将数据湖的可扩展性和灵活性与数据仓库的结构和性能优化相结合来满足这一需求。这篇文章提供了一个参考架构，用于理解和实施现代数据湖。
Hortonworks在博客中提出了一个全新的Hadoop对象存储环境——Ozone，能将HDFS从文件系统扩展成更加复杂的企业级存储层。
现有的存储系统经过长期发展，种类及其繁多，架构也各不相同，仅靠一文不可能讲得完全详尽。笔者试图在各个存储系统中，按照从底层到上层的思路，抽象出某些共性，也就是：物理层、协议层、架构层、连接层四个层次。这种层次划分不一定对所有存储系统通用，但可以帮助初学者对市面上主流的存储技术架构建立一个大体的认识，接下来我们由下往上详细分析。
1. Docker 是什么？ ---- Docker 使用 Google 公司推出的 Go 语言进行开发实现，基于 Linux 内核的 cgroup，namespace，以及 AUFS 类的 Union FS 等技术，对进程进行封装隔离，属于操作系统层面的虚拟化技术。由于隔离的进程独立于宿主和其他的隔离的进程，因此也称其为容器。 Docker 在容器的基础上，进行了进一步的封装，从文件系统、网络互连到进程隔离等等，极大地简化了容器的创建和维护。使得 Docker 技术比虚拟机技术更为轻便、快捷。 2. Do
本文介绍了 Docker 镜像的分层存储与构建原理。首先，我们对 Docker 镜像的重要性和广泛应用进行了简要介绍，并提出了本文要解密的主题：分层存储与镜像构建原理。随后，我们深入探讨了分层存储的概念和用途，以及它如何节省存储空间。接着，我们详细描述了 Docker 镜像的构建过程，包括 Dockerfile 的作用、如何编写一个基本的 Dockerfile，以及如何利用缓存层提高构建效率。为了更好地理解镜像构建的实际操作过程，我们通过一个简单的 Web 服务器容器镜像实例逐步演示了每个构建步骤和相应的镜像层。最后，我们提供了一些最佳实践和优化建议，帮助读者在构建自己的镜像时遵循最佳方法，以提高容器化应用的性能和安全性。通过深入理解 Docker 镜像的分层存储与构建原理，读者将能够更有效地应用 Docker 技术，优化容器化应用的开发与部署流程。
和其它数据库相比，MySQL有点与众不同，它的架构可以在多种不同场景中应用并发挥良好作用。主要体现在存储引擎的架构上，插件式的存储引擎架构将查询处理和其它的系统任务以及数据的存储提取相分离。这种架构可以根据业务的需求和实际需要选择合适的存储引擎。
作者:Divakar Mysore等 来源:DeveloperWorks 摘要：大数据解决方案的逻辑层可以帮助定义和分类各个必要的组件，大数据解决方案需要使用这些组件来满足给定业务案例的功能性和非功能性需求。这些逻辑层列出了大数据解决方案的关键组件，包括从各种数据源获取数据的位置，以及向需要洞察的流程、设备和人员提供业务洞察所需的分析。 概述 这个 “大数据架构和模式” 系列的 第 2 部分 介绍了一种评估大数据解决方案可行性的基于维度的方法。如果您已经使用上一篇文章中的问题和提示分析了自己的情况，并
软件定义数据中心是一种数据管理方式，它通过虚拟化来抽象计算、存储和网络资源，并将其作为服务提供。为了促进这一过程，SDDC包括智能软件以集中管理虚拟化资源，并自动化运营和分配工作流。 软件定义数据中心
数据应用是通过各种各样的数据分析方式将数据展示出来，给决策者、管理者、运营等人员透传数据价值的工具，帮助决策者、管理者及时调整战略目标、公司目标、业务目标，帮助运营人员更好地实现精细化运营、提升运营效率。
缓存能够有效地加速应用的读写速度，同时也可以降低后端负载，对日常应用的开发至关重要。下面会介绍缓存使用技巧和设计方案，包含如下内容：缓存的收益和成本分析、缓存更新策略的选择和使用场景、缓存粒度控制方法、穿透问题优化、无底洞问题优化、雪崩问题优化、热点key重建优化。
日前，TDSQL新敏态引擎正式发布，支持无限扩展、在线变更，可以完美解决对于敏态业务发展过程中业务形态、业务量的不可预知性，高度适配金融敏态业务。 该引擎100%兼容MySQL，计算/存储资源均可独立全透明弹性扩缩容，实现了PB级存储的Online DDL；计算层每个节点均可读写，轻松支撑千万级QPS流量，可以有效应对业务的变化。针对海量数据存储的场景，实现最高20倍压缩率的超高压缩比存储能力，大幅节省资源成本。其独有的数据形态自动感知特性，使数据能根据业务负载情况实现自动迁移，打散热点，降低分布式事务
软件定义数据中心是一种数据管理方式，它通过虚拟化来抽象计算、存储和网络资源，并将其作为服务提供。为了促进这一过程，SDDC包括智能软件以集中管理虚拟化资源，并自动化运营和分配工作流。 📷 软件定义数据中心架构可以分为三个逻辑层：物理层、虚拟化层和管理层。这些层共同提供了一个统一的系统，为企业提供比传统的技术能实现的更高的管理灵活性、更具成本效益的运行方式。 物理层 软件定义数据中心架构的物理层包括计算、存储和网络组件，以支持SDDC来存储和处理企业数据。这些组件可以由来自不同厂商的商用硬件构成，能够帮助企业
•连接层 最上层是一些客户端和链接服务，主要完成一些类似于连接处理、授权认证、及相关的安全方案。服务器也会为安全接入的每个客户端验证它所具有的操作权限。
存储虚拟化 随着存储的需求呈螺旋式向上增长，公司内的存储服务器和阵列都无一例外地随之成倍增长。对于这种存储管理困境的一种解决办法便是存储虚拟化。存储虚拟化可以使管理程序员将不同的存储作为单个集合的资源来进行识别、配置和管理。存储虚拟化是存储整合的一个重要组成部分，它能减少管理问题，而且能够提高存储利用率，这样可以降低新增存储的费用。 权威机构S N I A（存储网络工业协会）给出的定义 “通过将存储系统/子系统的内部功能从应用程序、计算服务器、网络资源中进行抽象、隐藏或隔离，实现独立于应用程序、网络的存储与
缓存穿透指的是查询一个根本不存在的数据，在这种情况下，无论是缓存层还是存储层都无法命中。因此，每次请求都需要访问数据库，这将导致不存在的数据每次都需要查询存储层，这样缓存就失去了保护后端存储的作用。缓存穿透问题的解决对于维护系统性能和资源利用至关重要。
Docker的出现，彻底改变了应用程序开发和部署的方式。Docker技术通过Docker 镜像（Image）、容器（Container）和分层文件系统（Layer）的精妙组合， 使其可以轻松地打包应用程序及其依赖关系，并在不同的环境中以一致的方式运行。
Apache Hadoop 是一种开源框架，用于高效存储和处理从 GB 级到 PB 级的大型数据集。利用 Hadoop，可以将多台计算机组成集群以便更快地并行分析海量数据集，而不是使用一台大型计算机来存储和处理数据。
之前写过几篇在线协作相关的文章，如何实现多人协作的在线文档，在线Excel存储方案，如何实现在线Excel多人协作,在线协作如何保证消息有序、不丢、不重,今天继续和大家一起探讨在线协作系统的总体架构。我们这里说的在线协作系统包括：「在线文档」、「在线Excel」、「在线脑图」、「在线流程图」、「在线PPT」、「在线PS」等文档类的系统。我们主要分前端和服务端两部分来讨论。
注：限定下讨论范围，分布式数据库，存储计算分离，share-noting 架构，仅讨论存储层。
近年来,随着实际可供给建设存储仓库的土地短缺及仓储物流业务的发展,对仓库容量和运行能力带来了巨大挑战,要求在相同建筑面积内尽可能多的设备和货位,即增加存货量。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
