上一篇所说的micr-batch 其实主要是针对producer 来实现的，Kafka整体吞吐量高可不只是依赖于micr-batch这一点，还有broker端及consumer端。
存储管理中的磁盘管理涉及到几个核心概念：磁道、扇区、磁头、盘面。它们共同构成了磁盘存储的物理和逻辑结构，进而影响到数据的存取速度和效率。此外，取指时间是理解磁盘性能的一个关键参数，它由寻址时间和等待时间两部分组成。下面是对这些概念的详细讲解。
机械磁盘由磁头（head）、磁道（track）、柱面（cylinder）、扇区（sector）和盘片（platter）组成。其中，磁头悬浮在盘片上，并且每张盘片上下各有一个磁头；每张盘片的磁道数是相同的，每张盘片相同位置的磁道组成柱面；而每一个磁道由数量相同的扇区组成，我们知道离主轴越远的扇区面积越大，而扇区大小一般为512B，必然导致存储密度越低，这样做明显浪费空间，为了解决问题，我们将磁盘密度改为等密度结构，这就意味着外围磁道的扇区数量要大于内圈的数量。
翻译成中文大致意思：文件系统主要是管理数据存储以及数据如何检索的，而数据存储在磁盘或内存中。上期我们聊过了漫谈虚拟内存，本期我们就重点介绍磁盘中的机械磁盘的组成以及工作原理，然后引申到文件系统。
旋转延时 是 硬盘的 盘面 持续保持匀速旋转 实现的 , 这是 硬盘 本身的硬件特性 , 该延时没有规律 ;
磁盘调度算法 磁盘调度算法比较常见的有以下四种： 先来先服务算法（FCFS） 最短寻道时间优先算法（SSTF） 扫描算法（SCAN） 循环扫描算法（CSCAN） ---- 先来先服务算法（FCFS，First Come First Served） 根据进程请求访问磁盘的先后次序进行调度。此算法的优点是公平、简单，且每个进程的请求都能依次地得到处理，不会出现某一进程的请求长期得不到满足的情况。但此算法由于未对寻道进行优化，致使平均寻道时间可能较长。 初始位置 100 磁道编号 移动距离 55 45 58
平均寻道长度是磁盘调度算法的性能指标之一，用于评估磁头在访问磁盘上的数据时的平均移动距离。
简直可怕，怎么可能写出来磁盘调度算法啊喂！算法实现倒还好说，就是一个排序算法。但是！访问的柱面就是随机生成的所以还要写iterator？！这里简单描述一下各种磁盘调度算法。
设备管理是对计算机输入、输出系统的管理，这是操作系统最具有多样性和复杂性的部分，其主要任务是选择合适的设备进行数据传输，控制数据交换的过程，为用户提供透明的接口让用户不必关心设备的特性，为完成这些任务，需要提供的功能主要包括：缓冲区管理、设备分配、设备处理、虚拟设备管理、实现设备独立性等。
磁盘调度算法是为了提高磁盘的访问性能，一般是通过优化磁盘的访问请求顺序来做的。其中寻道是磁盘较为耗时的部分，因此如果请求顺序得当，可以节省一些不必要的寻道时间。
IO体系结构是计算机系统和外部的接口，同时也是操作系统中设计最难的部分，因为存在许多不同的设备和它们的应用，难有统一一致的解决方案。 IO体系结构的设计目标是提供一种系统化方法来控制与外部的交互，并且给操作系统提供有效管理IO所需的信息。
计算机是处理数据的机器，而数据就需要有地方存放。在计算机中，可供数据存放的地方并不太多，除了内存之外，最主要的存储数据的媒介就是磁盘。对于大多数计算机领域的人来说，磁盘通常被看做是一种外部设备。可是，对于现代操作系统来说，磁盘是不可或缺的。虽然早期的操作系统可以基于磁带，但由于操作系统复杂性和性能的不断提升，用磁带作为操作系统的载体已经不合时宜，取而代之的是磁盘。由于操作系统需要存放在磁盘上，且操作系统内的文件系统也是基于磁盘，所以，从某种程度来说，磁盘是操作系统不可分割的一部分，理解磁盘将对理解操作系统的原理具有重要的意义。
在磁盘上进行一次读写操作花费的时间由寻道时间，延迟时间和传输时间决定。其中寻道时间是将磁头移动到指定磁道所需要的时间。延迟时间是磁头定位到某个磁道的扇区（块号）所需要的时间，传输时间是从磁盘读出或向磁盘写入数据所经历的时间。一般来说，寻道时间因为要移动磁臂，所以占用的时间最长。
无论是作为个人电脑的数据盘，还是在数据中心里面用作海量数据的存储，机械硬盘仍然在被大量使用。随着成本下降，机械硬盘还替代掉了很多传统的存储设备，如以前常用来备份冷数据的磁带。
外存储器（External Storage or Secondary Storage）指的是除了计算机的主存储器（通常是RAM）之外用于存储数据和程序的设备。与主存相比，外存储器提供了更大的存储容量和持久存储能力，但访问速度较慢。外存储器主要用于保存不需要立即访问的数据，以及在系统关闭后仍需要保留的信息。
一次磁盘读写操作所需要的时间 寻找时间(寻道时间):磁头臂前后移动寻找磁道所需的时间 (系统软件可算法优化) 延迟时间:磁头旋转定位到目标扇区所需要的时间 (固定) 传输时间:读写数据到扇区所需的时间 (固定)
然后发现，操作系统的知识点考察还是比较多的，大厂就是大厂就爱问基础知识。其中，关于操作系统的「调度算法」考察也算比较频繁。
I/O系统的主要任务： 完成用户提出的I/O请求； 提高I/O速率； 提高设备的利用率；为更高层的进程方便地使用这些设备提供手段;
首先，让我们看一下硬盘的发展史： 1956年9月13日，IBM的IBM 350 RAMAC(Random Access Method of Accounting and Control)是现代硬盘的雏形，整个硬盘需要50个直径为24英寸表面涂有磁浆的盘片，它相当于两个冰箱的体积，不过其存储容量只有5MB。 1971年，IBM开始采用一种名叫Merlin的技术生产硬盘，这种技术据称能使硬盘头更好地在盘片上索引。 1973年，IBM 3340问世，主流采用采用红色。这个大家伙每平方英寸存储1.7MB的数据，在当
在现代计算机系统中，要用到大量的程序和数据，因内存容量有限，且不能长期保存，故而平时总是把它们以文件的形式存放在外存中，需要时再随时将它们调入内存。如果由用户直接管理外存上的文件，不仅要求用户熟悉外存特性，了解各种文件的属性，以及它们在外存上的位置，而且在多用户环境下，还必须能保持数据的安全性和一致性。显然，这是用户所不能胜任、也不愿意承担的工作。于是，取而代之的便是在操作系统中又增加了文件管理功能，即构成一个文件系统，负责管理在外存上的文件，并把对文件的存取、共享和保护等手段提供给用户。这不仅方便了用户，保证了文件的安全性，还可有效地提高系统资源的利用率。
一块磁盘划分为若干个记录面，每个记录面划分为若干条 磁道，而每条磁道又划分为若干个 扇区，扇区（也称块、扇段）是磁盘读写的最小单位，即磁盘按块存取。一个具有多盘片的磁盘组，可将其 n 个面上所有同一半径的磁道看成一个圆柱面，称为 柱面；在移动磁头的组合盘中，多个磁头一次定位的磁道集合就是一个柱面。
这里先说一下存储器系统： 寄存器 -----> 高速缓存 -----> 主存储 存储器对程序的性能有着巨大的影响，程序的运行就是对数据的不停的计算和搬移，其中最为耗时的就是程序对数据的搬移。因此，存储器对数据的存取速度是至关重要的。 CPU在访问寄存器中的数据只需要一个周期就可以访问到，在高速缓存中需要4-75个周期，如果在主存器上则需要上百个周期，如果在磁盘上则需要几千万个周期。
B-Tree 是 2-3 树的一种变形，可以设置度数 M，每个节点上最多可以有 M 个值；根据硬盘读取时的预读原理，磁盘读取时每次从磁盘上预读 page 容量（一般为 1024 字节）的整数倍，所以对于硬盘来说，可以将度设为 1024，这样就硬盘文件的索引就建立完毕，形成了一个 B-Tree 结构；
看了上面的基本过程后，相信大家可以理解了，如果我们要操作磁盘读写的话，就是告诉磁盘控制器关于柱面、磁头、扇区、缓 存位置，然后是读还是写，剩下的由磁盘控制器完成。
磁盘 是 冯诺依曼结构 中的 外存 , 也就是 辅助存储器 , 磁盘外接在计算机外部 ;
今天我们所使用的机械硬盘实质上都是温彻斯特硬盘，最早是在 1973 年由 IBM 研制的一种新型硬盘 IBM 3340。它使用了一种了不起的技术：磁头不与盘片接触，只有不予接触才可能有着更高的转速而且磁盘才不易损坏。至于这个名字的来历，是因为 IBM3340 拥有两个 30MB de 存储单元，而当时一种很有名的 “温彻斯特来福枪” 的口径和装药也恰好包含了两个数字 “30”；于是这种硬盘的内部代号就被定为 “温彻斯特”。
本文作者系Scott（中文名陈晓辉），现任大连华信资深分析师 ，ORACLE数据库专家，曾就职于甲骨文中国。个人主页：segmentfault.com/u/db_perf ，经其本人授权发布。
整个磁盘装置通常被称为磁盘驱动器（通常简称为磁盘），有时称为旋转磁盘，区别于基于闪存的固态磁盘（SSD）。
2016年7月14号，来自美国加利福尼亚州莫德斯托社区学院的Salvador Mendoza发表了一篇题为《Samsung Pay:Tokenized Numbers, Flaws andIssu
文件操作的本质是进程与被打开的文件之间的关系。那么没有被打开的文件怎么办？OS如何去管理它们？没有被打开的文件，安安静静地在磁盘里面放着，磁盘中存在大量的文件，这些没有被打开的文件，被OS静态管理起来，方便随时打开。管理被打开文件，叫做文件系统，虚拟文件系统，管理没有被打开的文件，也称为文件系统，躺着的文件系统。
设备管理是操作系统的一项重要功能，它负责管理计算机系统中的各种硬件设备，包括输入设备、输出设备和存储设备等。设备管理的主要任务包括设备的分配、控制和调度。
我们在之前的文章中讨论的都是进程和被打开的文件的关系，但是如果一个文件时没有被打开，它是否需要被管理？它该如何被管理呢？ 本文介绍了文件存储的位置：磁盘，它的三种结构（物理结构、存储结构以及逻辑结构）；管理文件的结构：文件系统与inode；以及文件与inode之间的关系：软硬链接等相关概念。
首先简单认识一下硬盘的物理结构，总体来说，硬盘结构包括：盘片、磁头、盘片主轴、控制电机、磁头控制器、数据转换器、接口、缓存等几个部分。所有的盘片(一般硬盘里有多个盘片，盘片之间平行)都固定在一个主轴上。在每个盘片的存储面上都有一个磁头，磁头与盘片之间的距离很小(所以剧烈震动容易损坏)，磁头连在一个磁头控制器上，统一控制各个磁头的运动。磁头沿盘片的半径方向动作，而盘片则按照指定方向高速旋转，这样磁头就可以到达盘片上的任意位置了。
操作系统是直接控制和管理计算机硬件、软件资源，合理地对各类作业进行调度，以方便用户使用的程序集合。
控制的复杂性：例如，打印机仅需要一个相对简单的控制接口，而磁盘的控制接口则要复杂得多。
采用非抢占式，RR调度算法，时间片为1，说明每个进程在CPU中每次只能执行，并采取先来先服务。
我们之前讨论的都是进程和被打开文件的关系，而如果一个文件是没有被打开呢？没有被打开的文件操作系统如何管理？
背景 计算机硬件性能在过去十年间的发展普遍遵循摩尔定律，通用计算机的CPU主频早已超过3GHz，内存也进入了普及DDR4的时代。然而传统硬盘虽然在存储容量上增长迅速，但是在读写性能上并无明显提升，同时SSD硬盘价格高昂，不能在短时间内完全替代传统硬盘。传统磁盘的I/O读写速度成为了计算机系统性能提高的瓶颈，制约了计算机整体性能的发展。 硬盘性能的制约因素是什么？如何根据磁盘I/O特性来进行系统设计？针对这些问题，本文将介绍硬盘的物理结构和性能指标，以及操作系统针对磁盘性能所做的优化，最后讨论下基于磁盘I/O
硬盘驱动器 (Hard Disk Drive，简称HDD) 是一种常见的持久性存储设备。它使用磁盘作为存储介质，通过旋转磁盘和移动读写头来读取和写入数据。本文将详细介绍 HDD 的存储架构，包括内部组件、工作原理和数据组织方式。
整个磁盘的存储大小为： 存储容量 ＝ 磁头数 × 磁道(柱面)数 × 每道扇区数 × 每扇区字节数
好多人觉得自己有点基础就都想着直接敲代码，觉得基础知识很容易，很简单，就不怎么用心去学。然而，我觉得基础知识很重要。就像盖一栋楼房一样，你先要打好地基，再去盖房。
谈到大数据传输都会想到 Kafka，Kafka 号称大数据的杀手锏，在业界有很多成熟的应用场景并且被主流公司认可。这款为大数据而生的消息中间件，以其百万级TPS的吞吐量名声大噪，迅速成为大数据领域的宠儿，在数据采集、传输、存储的过程中发挥着举足轻重的作用。
刚看了一下，上一次我分享完内存篇的时候是2019年12月25号。没想到在我酝酿和打磨磁盘篇的这段时间里，我们的生活发生了如此大的变化。人类一直觉得自己是地球上所有生物的主宰，没想到这次被一个小小的病毒狠狠地咬了一口，而且还在欧美继续猖狂。也许是人类安逸太久了，早已经没有原始社会那种需要战战兢兢过日子的心态，在病毒初见端倪的时候，并没有得到足够的重视。甚至中国已经和病毒进行着全国大战役的时候，欧美的同学们还在开开心心的闲逛，聚会。本来他们有足够多的时间和机会的，结果却演变到了今天这个局面。我想说的一句是，人类在宇宙中能够存在，本来就已经是一个极低概率的事件了，宇宙中的各种射线，上千度万度的高温，都是脆弱的人类生命的不可承受之重。人类现在已经把宇宙观测到放大到星系团了暂时也没发现其它文明存在。不管自己多牛逼，始终还是要保存一颗敬畏自然、敬畏其它物种的心，且行且珍惜。
磁盘缓冲区 Disk Buffer 位于 磁盘 和 内存 之间的 数据缓冲区 , 其作用是 优化 数据读取 和 数据写入 速度 ;
磁盘中可以被划分成一个一个的环，每个环都是一个磁道。每个磁道又可以被均分成一个一个的扇区，扇区是磁盘IO的基本单位（想要修改扇区中的一个比特位就必须把该扇区的全部比特位都加载到内存中）。磁盘中的盘面，磁道和扇区都是有编号的。要访问一个扇区中的内容，必须通过磁头先定位到哪一个磁道（柱面cylinder），再确定要读取哪一个盘面（磁头head），最后确定磁道上的哪一个扇区（sector），这种定位法被称为CHS定位法。
文件划分为三类逻辑结构：无结构的字符流式文件、定长记录文件和不定长记录文件构成的记录树。
在我们之前的讲解中，我们已经详细介绍了CPU和内存的物理结构，这是计算机系统中至关重要的组成部分。然而，除了CPU和内存之外，磁盘也扮演着非常重要的角色，它在数据存储方面起着至关重要的作用。因此，我们将继续向大家介绍磁盘的物理结构，以便更全面地了解计算机系统的工作原理。通过深入了解磁盘的物理结构，我们可以更好地理解数据的存储和访问过程，从而帮助我们更好地进行系统优化和性能提升。让我们一起深入研究磁盘的组成部分和工作原理，为进一步的学习打下坚实的基础。
但是这些都是文件被进程打开后才有的操作，那么其余文件呢？？？在我们的系统中有非常多的文件（一切皆文件），被打开的文件只是一小部分。没有被打开的文件实际上是在磁盘上储存的，也就是磁盘文件。 在打开文件之前，我们需要找到文件 -> 就要从磁盘中找到对应文件 -> 通过文件路径与文件名。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
