首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

存储硬核技术内幕——(24) 双城记 (下)

如图,主AZ和活AZ各自建立了数据的三个副本,这样,当任意一个AZ整体故障时,另一个AZ都保存了数据的三个副本,数据的持久性和业务的可用性都不受影响。...同样地,假设单磁盘的数据持久性为99.9% (3个9),三副本的数据持久性为99.9999999% (9个9),四副本的数据持久性可达 99.9999999999% (12个9)。...显然2AZ,4副本这种存储方式,比起单AZ三副本而言,业务可用性和数据持久性都得到了显著的提升。那么,这种方式付出的代价呢?...这样一来,我们就解决了对象存储同城AZ数据同步的问题。 那么,如果我们期望在巴黎和伦敦的两个AZ之间同步对象存储的数据呢?...关于它的介绍,可以在互联网上很容易找到,如这里:https://cloud.tencent.com/product/msp 至此,我们为大家分享了云计算系统中分布式存储、文件存储、对象存储的实现,也讲述了虚拟机如何使用存储和文件存储

1.1K10

干货:Linux 文件系统与持久性内存介绍

文件系统在不同的上下文中有不同的含义: 在存储设备上组织文件的方法,包括数据结构和访问方法,到存储设备。 按照某种文件系统类型格式化的一存储介质。...1.1、硬件层面 外部存储设备分为设备、闪存和 NVDIMM 设备 3 类,设备主要有以下两种: 机械硬盘:机械硬盘的读写单位是扇区。...闪存类设备:使用闪存作为存储介质,里面的控制器运行固化的驱动程序,驱动 程序的功能之一是闪存转换层(Flash Translation Layer,FTL),把闪存转换为设备, 外表现为设备。...设备文件系统,存储设备是机械硬盘和固态硬盘等设备,常用的设备文件 系统是 EXT 和 btrfs。EXT 文件系统是 Linux 原创的文件系统,目前有 3 个 成版本:EXT[2-4]。...12G':保留4GB内存,从12GB到16GB。有关详细信息,请参阅如何为系统选择正确的memmap选项。

2.5K10
您找到你想要的搜索结果了吗?
是的
没有找到

编辑器和链笔记如何选择Notion vs Roam Research?FlowUs vs Obsidian

插件市场:这是 链笔记的强项。由社区提供插件,满足用户的个性化需求。类型:支持多种内容。Roam 官方支持 Youtube 等视频时间戳。Roam也支持网页嵌入,但是效果不太好。...支持引用、嵌入。支持 属性。转换:Roam 官方并没有提供 Block 和 Page 之间转化。Roam Edit 官方支持了转换功能,Logseq 也有相关插件。...多维表格/ Database:链笔记支持属性,可以建立灵活的动态属性表格,然而操作依然比较麻烦。多维表格是 Notion 等应用的核心功能。...此外,链笔记和 Notion/FlowUs 代表了两种思维:《冰与火之歌》的作者马丁大爷说:“我认为存在两种作家:建筑师和园丁。建筑师提前计划一切。...印象笔记 Verse、Notion、FlowUs数字花园:在线协作产品哪家强?

4.6K50

MySQL崩溃后的数据一致性

InnoDB redo log,简称redolog,是InnoDB(存储引擎层)用来实现事务持久性,既事务ACID中的D,它由两部分组成:一是redo log file,保证存储引擎管理的数据落盘,是持久的...MySQL-binlog和redolog.png InnoDB数据文件的一致性 数据文件的写操作,可能会将写坏,InnoDB使用写缓冲(double write buffer)来确保数据的安全...这样既可确保所有写操作的原子性和持久性。...MySQL崩溃重启后,InnoDB会检查每个(page)的校验和,判断是否损坏,如果写入写缓冲的是坏块,那么一定没有写入实际数据文件,就要用实际数据文件的来恢复写缓冲,如果写入了写缓冲,但是数据文件写的是坏块...,那么就用写缓冲的来重写数据文件。

2.7K81

大数据篇:三大指标

大家,又见面了,我是你们的朋友全栈君。...你有5个人手,他们每人一小时平均可以搬500砖,那么一个小时最多搬5人×500×1小时=2500/小时。...举个例子,张三给李四转500钱,张三扣款了,但是李四并不一定会收到500钱。这里便会产生一个不一致性的时间窗口:张三扣款,而李四没有收到钱的时候。...但是5张票,只会卖给5人,不会卖给第6个人,这就是最终一致性(“最终所有数据都会同步”); 持久性(Durability) 数据持久性(Data Durability)意味着数据一旦被成功存储就可以一直使用...想要提高持久性,复制是一个非常的做法,同一数据存储在不同节点上,即使节点无法连接,数据仍然可以从其他节点读取。 除了数据持久性还有另一个重要的持久性概念:消息持久性

1.1K10

SQLServer 延迟事务持久性

这样 处是,事务可以去除等待I/O操作完成所带来的延时,以此来提高整个SQL Server的性能。...在这整个过程中,SQL Server会在内存中专门开辟出一个特殊的Log Buffer来存放DTD所产生的日志,当这个Log Buffer一旦存满之后会马上写入日志文件,由此将零散的I/O操作变成了一的操作来提高效率...控制事务持久性 持久性可以在数据库级别(Database Level)、提交级别(COMMIT Level)或原子级别(ATOMIC Block Level)进行控制。...ALLOWD:允许延迟持久性执行,要看存储过程,或者TSQL级别的设置 FORCED:强制所有的事务都是延迟持久性的 原子级别控制 – 本机编译的存储过程 下面的代码面向原子内部...2.执行系统存储过程 sp_flush_log。 此过程会强制将之前提交的所有延迟持久事务的日志记录刷新到磁盘。

1K10

SQLServer 延迟事务持久性

这样 处是,事务可以去除等待I/O操作完成所带来的延时,以此来提高整个SQL Server的性能。...在这整个过程中,SQL Server会在内存中专门开辟出一个特殊的Log Buffer来存放DTD所产生的日志,当这个Log Buffer一旦存满之后会马上写入日志文件,由此将零散的I/O操作变成了一的操作来提高效率...控制事务持久性 持久性可以在数据库级别(Database Level)、提交级别(COMMIT Level)或原子级别(ATOMIC Block Level)进行控制。...ALLOWD:允许延迟持久性执行,要看存储过程,或者TSQL级别的设置 FORCED:强制所有的事务都是延迟持久性的 原子级别控制 - 本机编译的存储过程           下面的代码面向原子内部...2.执行系统存储过程 sp_flush_log。 此过程会强制将之前提交的所有延迟持久事务的日志记录刷新到磁盘。

1.4K80

存储硬核技术内幕——(22) 双城记 (上)

以单磁盘数据持久性为99.9%论,三副本机制下,对象存储的数据持久性是可以达到99.9999999%的。 然而,存储系统还有一个重要的指标是,服务可用性。...让我们回到一个古老的话题——在五年前,数据中心建设最流行的一句话: “同城活,异地灾备,两地三中心”。...因此,我们一般认为,两个同城活数据中心用于保障单数据中心出现基础设施故障时,另一数据中心的关键数据,应当需要保持一致性,暂时先不考虑异地灾备的问题。...前面提到,对象存储在AZ内可以实现99.9999999%的数据持久性,那么,有没有办法让对象存储成为跨AZ的服务,从而提升它的业务可用性呢?...:两个AZ各自有各自的索引; 存储池:跨AZ数据同步,或实现三副本分散到两个AZ; 如下图所示: 在下一期,我们开始为大家详解对象存储活的设计实现。

42540

【系统设计】S3 对象存储

存储系统 在高层次上,存储系统分类三大类: • 存储 • 文件存储 • 对象存储 存储 存储最早出现在 1960 年。常见的物理存储设备,比如常说的 HDD 和 SSD 都属于存储。...从概念上讲,网络附加存储仍然暴露原始,对于服务器来说,它的工作方式和使用物理连接的存储是相同的。...数据持久性存储系统来说,数据持久性非常重要,如何设计出一个 6 个 9 (99.9999%) 持久性存储系统? 硬件故障和故障域 无论使用哪种存储,硬件故障都是不可避免的。...总结 在本文中,介绍了类似于 S3 的对象存储,比较了存储、文件存储和对象存储之间的区别,设计了对象上传,对象下载,版本控制功能,并讨论了两种提高可靠性和持久性的方法:复制和纠删码,最后介绍了对象存储的垃圾收集的工作流程...en.wikipedia.org/wiki/Inode [11] Ceph’s Rados Gateway: https://docs.ceph.com/en/pacific/radosgw/index.html [12

5.4K30

重温MySQL的ACID实现原理:深入探索底层设计与机制

Redo Log(重做日志) Redo log是MySQL InnoDB存储引擎的一种日志类型,用于确保事务的持久性。...在MySQL中,特别是在使用InnoDB存储引擎时,持久性是通过多种机制和技术来实现的,主要包括重做日志(redo log)和写缓冲(double write buffer)。...重做日志(redo log): InnoDB存储引擎使用重做日志来保证事务的持久性。...除了重做日志和写缓冲,InnoDB还使用其他技术来增强持久性,如撤销日志(undo log)用于回滚未提交的事务,以及使用事务日志序列号(Log Sequence Number, LSN)来追踪日志的写入位置等...综上所述,MySQL通过重做日志、写缓冲以及其他辅助技术来实现事务的持久性。这些机制共同工作,确保了在各种故障场景下数据的可靠性和恢复能力。 总结: ACID属性是关系型数据库事务处理的核心原则。

20011

深入解析MySQL写缓冲区(Doublewrite Buffer):原理及作用

MySQL的InnoDB存储引擎以其卓越的事务处理和数据完整性保护能力而受到广泛赞誉。在这些特性中,Doublewrite Buffer作为一个关键组件,确保了数据的完整性和可靠性。...1️⃣什么是Double write Buffer Doublewrite Buffer是MySQL数据库中InnoDB存储引擎的一种机制,用于解决部分写失效的问题,提高数据完整性和可靠性。...同步到Doublewrite File: 随后,写缓冲区中的数据被同步(flush)到Doublewrite File中。这个过程是由后台线程完成的,以确保数据的持久性。...这意味着,当MySQL写入一个页的数据时,实际上是写入了一个更大的,这个可能跨越了多个Linux页。...4️⃣Doublewrite Buffer的参数 MySQL的写缓冲区可以通过以下参数进行配置: innodb_doublewrite: 控制是否启用写缓冲区的参数。可以设置为ON或OFF。

71610

跌了2个京东,又跌了2个小米,苹果手机终于卖不动了

库克觉得中国果粉会一如既往为产品买单,为创新买单,但谁又会轻轻松松闭眼买一个一年一换的万元产品呢?...他们说,最大的客户之一要求该公司在截止12月的第二财季“大幅减少出货量”。 于是业绩预测称可能会减少7000万美元。...尽管Lumentum并未指出这个客户是哪家公司,但在其2018财年年报中将苹果列为最大的客户,30%的总收入来自于苹果。 现在,一荣俱荣,一损俱损。 ?...“一万多,买个新手机,你说信号不好?” 问题不仅仅如此,还有电池相关的一箩筐问题。 电池差 首先是,充不进去电的问题。...英国《每日邮报》报道称,一些用户升级iOS12之后,iPhone出现了新的Bug,续航时间明显变短。

2.4K10

存储硬核技术内幕——(23) 双城记(中)

在上期,我们提到,如果我们想把对象存储用在生产环境,仅仅在单AZ内部实现三副本只能保证数据99.9999999%的持久性。...如果我们还期望业务的可用性达到99.999%以上,还需要实现对象存储的跨AZ部署,也就是所谓的“同城活”。...由于对象存储是基于HTTP的,而HTTP是基于IP的,所以,我们首先要解决HTTP Server的活问题。 让我们举一个栗子。...Rhino的访问被活AZ所接管,从而实现了HTTP层的活。 大家可能会问一个问题:如果Rhino在上传(put)或下载(get)一个文件的时候,主AZ整体断电呢?...当然,我们如果期望实现对象存储在两个AZ都是可用的,还需要让它实现一个功能—— 我们在前面提过,对象存储和其他分布式存储一样,一般使用三副本保障数据持久性。但是,对于AZ的情况呢?

52020

3000字13张图详细介绍RAID0、1、5、6、10、50、60,非常值得收藏!

RAID 0 RAID 0 基于数据条带化,数据流被分成多个段或,每个存储在不同的磁盘上。...,因为必须从所有可用驱动器计算奇偶校验 无法承受并发驱动器故障 RAID 6 RAID 6 使用奇偶校验来实现比 RAID 5 更好的数据冗余,这增加了阵列中最多两个驱动器故障的容错能力。...每个磁盘都有两个奇偶校验,它们存储在阵列中的不同磁盘上,RAID 6 是用于维护高可用性系统的非常实用的基础架构。...RAID 6 也称为 带分布式奇偶校验的条带化: 优点 具有 DUAL 分布式奇偶校验的级剥离 创建了 2 个奇偶校验 可以在阵列中同时发生 2 个驱动器故障 额外的容错和冗余 至少需要 4 个驱动器...例如,对于 36 个驱动器,您可以拥有一个 RAID 60,每个分支包含 18 个驱动器,或者一个 RAID三条腿中有 60 条,每条腿有 12 个驱动器。

3.7K20

RAID0、1、5、6、10、50、60超详细说明,简单易懂!

RAID 0 RAID 0 基于数据条带化,数据流被分成多个段或,每个存储在不同的磁盘上。...,因为必须从所有可用驱动器计算奇偶校验 无法承受并发驱动器故障 RAID 6 RAID 6 使用奇偶校验来实现比 RAID 5 更好的数据冗余,这增加了阵列中最多两个驱动器故障的容错能力。...每个磁盘都有两个奇偶校验,它们存储在阵列中的不同磁盘上,RAID 6 是用于维护高可用性系统的非常实用的基础架构。...RAID 6 也称为 带分布式奇偶校验的条带化: 优点 具有 DUAL 分布式奇偶校验的级剥离 创建了 2 个奇偶校验 可以在阵列中同时发生 2 个驱动器故障 额外的容错和冗余 至少需要 4 个驱动器...例如,对于 36 个驱动器,您可以拥有一个 RAID 60,每个分支包含 18 个驱动器,或者一个 RAID三条腿中有 60 条,每条腿有 12 个驱动器。

14.9K32

漫谈Linux标准的文件系统(Ext2Ext3Ext4)

256bytes(ext4),如果一个文件太大,block数量很有可能会超过inode可记录的数量,为此,inode记录block号码的区域被设计为12个直接、一个间接、一个间接、一个三间接记录区。...12个直接容量 = 12 * 1k =12k 单间接容量 = 256 * 1k = 256k 间接容量 = 256 * 256 * 1k = 65536k 三间接容量 = 256 * 256 * 256...* 1k = 16777216k 单文件最大总量 = 12个直接容量 + 单间接容量 + 间接容量 + 三间接容量 = (12 + 256 + 65536 + 16777216) / (1024 *...12个直接容量 = 12 * 2k =24k 单间接容量 = 512 * 2k = 1024k 间接容量 = 512 * 512 * 2k = 524288k 三间接容量 = 512 * 512 *...同理,单文件最大总量 = 12个直接容量 + 单间接容量 + 间接容量 + 三间接容量 = 4.00T Linux标准的文件系统限制表 ?

2K30

一台优秀的GPU服务器是什么样子的?

不在乎钱的话,显然这样配置。 ? 在乎钱的话,可以节省一点钱的。特别是CPU的钱。CPU提供的PCI-E通道数足够即可。没必要路,4路配满,主频最高型号的。...有个用户他准备插4片Tesla V100,内存是插满12根16GB的,还是插6根32GB的? 一般来说是是16G × 12, 因为可以尽量利用所有的内存通道。...但如果你插12条,16条,24条这种, 往往可以都插满, 此时无所谓插入的顺序的(例如是连续插入,还是隔着一条或者2条插入?), 都插满省心点。...用户想高性能最好用后者,两SSD做raid 0. 高可靠性我建议使用两SAS机械硬盘。 此外,还应当考虑主板有无NVME硬盘的插卡地方。对io性能要求很高的,建议上nvme的ssd。...买的机器多的,或者一个小集群规模的,建议总是上专门的存储节点/网络(例如NAS或者SAN之类的),本地则可以用一两SSD做数据临时目录之类的存储用途。其他数据全部放在存储节点上。 基本上就这些了

6.8K30

联想 p系列服务器,全面解读联想ThinkStation P系列工作站

大家,又见面了,我是你们的朋友全栈君。...极致动力,全新一代旗舰型路工作站:ThinkStation P900 联想ThinkStation P900工作站 ThinkStation P900工作站是专为最严苛任务而设计的全新一代旗舰型路工作站...7×24全天候优先技术支持和ISV认证使得P900成为关键业务任务的最佳选择; 易用设计: 智能模块化设计,使得硬件升级和维修工作变得轻而易举; 灵动硬盘托架设计,完全可配置存储,支持任意存储组合,有效提高扩展性...; 新一代多功能紧凑型路工作站:ThinkStation P700 联想ThinkStation P700工作站 联想ThinkStation P700工作站是为关键业务任务而设计的新一代多功能紧凑型路工作站...、灵动扩展插槽及灵动硬盘托架,可支持连接多种I/O设备,最高可配备12硬盘 ; 整体性能比上一代产品提升93%; 可靠品质: 拥有专利的三通道散热技术和创新的导风罩设计,使得P系列工作站在运行时保持较低的工作温度

1.1K20

火爆业界的明星,下一代存储技术的先行: NVDIMM 你了解吗?

随着存储技术的发展, 对存储性能的不懈追求, 高性能存储开始探索向内存通道的迁移。在这样的情况下, NVDIMM 技术便应运而生了。...不过只支持寻址。 NVDIMM-F 的主要工作方式本质上和SSD是一样的。因此它的延迟在 10的1次方微秒级。它的容量也可以轻松达到 TB 以上。...它既支持寻址, 也支持类似传统 DRAM 的按字节寻址。它既可以在容量上达到类似 NAND flash 的TB以上, 又能把延迟保持在10的2次方纳秒级。...而且由于内存访问是通过64 字节的 cache line, CPU 只需要访问它需要的数据, 而不是像普通设备那样每次要按访问。...这也消除了在传统设备和内存之间页交换的需要。但是, 向持久性内存里写数据是和向普通DRAM里写数据共享计算机资源的。包括处理器缓冲区, L1/L2缓存等。

1.3K30
领券