我们知道SSD是一场存储革命，设计和制造一个好的SSD固然重要，但如何正确使用以充分发挥SSD性能同样重要。SSD内在的并行性和先擦再写的特性决定了它不同于机械硬盘简单的LBA和存储块一一对应，要充分挖掘SSD的并行性，提升性能，延长寿命，缩短延迟，就必须在上层应用做出改动。很多SSD的使用大户都作出了这种尝试，从国外的Google，Microsoft，Facebook，到国内的Baidu，Alibaba等，本站就曾经介绍过百度的软件定义闪存，把对象存储和SSD内部结构统一起来使用。但对大部分企业来讲，这种结构还是太独特了，我们还是要关注通用的架构，首先来了解离硬盘最近的软件：文件系统。本系列文章将以Linux系统最常见的EXT4文件系统为例，从SSD爱好者的角度来揭开文件系统的庐山真面目。
| 导语 随着云业务的扩张和服务器数量的增加，硬盘Media Error的现象也越来越受到用户的关注。本文结合腾讯云海量服务器运营经验，浅谈产生Media Error的原因和硬盘自身容错机制，以及应用层的处理建议。 一、 什么是Media Error Media Error，有时也称为Medium Error，一般是指硬盘在读操作中遇到了不可纠正的扇区从而无法给host返回准确的数据，对应到SCSI协议KCQ代码为03/11/xx。Media Error的产生意味着即使硬盘自身已经用尽了所有容错手段（
不得不说，关于磁盘的各种概念网上说法很多，看了半天快把我看晕了，最后总结了总结，基于我的认知基本理顺了。
Host如果想往SSD上写入用户数据，需要告诉SSD写入什么数据，写入多少数据，以及数据源在内存中的什么位置，这些信息包含在Host向SSD发送的Write命令中。每笔用户数据对应着一个叫做LBA（Logical Block Address）的东西，Write命令通过指定LBA来告诉SSD写入的是什么数据。对NVMe/PCIe来说，SSD收到Write命令后，通过PCIe去Host的内存数据所在位置读取数据，然后把这些数据写入到闪存中，同时得到LBA与闪存位置的映射关系。
有一天，小H在吃完午饭回到办公室，旁边几位同学在打《王者荣耀》，并且在挑拨匹配到的一对情侣队友分手。
磁盘存储和文件系统管理 1. 磁盘结构 1.1设备文件 1. 设备类型： 2. 磁盘设备的设备文件命名： 3. 虚拟磁盘： 4. 不同磁盘标识：a-z,aa,ab… 5. 同一设备上的不同分区：1,2, ... 6. 创建设备文件 7. 工具 dd 常用选项 示例 demo 8. hexdump指令 1.2 硬盘类型 1.硬盘接口类型 2. 服务器硬盘大小 3. 机械硬盘和固态硬盘 4. 硬盘存储术语 CHS CHS LBA（logical block addressing） 5. 识别SSD和机械硬盘类型
FTL表如此重要，没了它，整个SSD/SD卡就没法工作了。如果在FTL写回Flash之前，还在内存的时候，忽然没电了，内存数据丢失，FTL表也就丢失了。有鉴于此，高端SSD和服务器SSD都加上了电容，来作为应急供电方案，让SSD控制器有时间把内存中的FTL表和一些缓存内容存到Flash上
这天，方老师的同事Y，很羡慕方老师有很多粉丝，所以怂恿一个熊孩子Z去问方老师一个困难的问题。
前面几篇文章，主要围绕的是机械硬盘来说的。目前ssd目前应用也越来越广了，值得我们花精力琢磨琢磨。SSD硬盘是地地道道电子技术下的产品，因为不像机械硬盘IO时依赖两个耗时的机械轴行为：磁盘旋转，以及磁道寻道，SSD硬盘的访问延迟要比机械硬盘要低的多，在随机IO下的表现尤其明显。我们今天从最底层出发，看看SSD的几个内部机理。
这本书是个人看过的讲操作系统底层里面讲的最通俗易懂的了，但是200多页的内容确实讲不了多深的内容，所以不要对这本书抱有过高期待，当一个入门书了解即可。
Blobstore是位于SPDK bdev之上的Blob管理层，用于与用户态文件系统Blobstore Filesystem （BlobFS）集成，从而代替传统的文件系统，支持更上层的服务，如数据库MySQL、K-V存储引擎Rocksdb以及分布式存储系统Ceph、Cassandra等。以Rocksdb为例，通过BlobFS作为Rocksdb的存储后端的优势在于，I/O经由BlobFS与Blobstore下发到bdev，随后由SPDK用户态driver写入磁盘。整个I/O流从发起到落盘均在用户态操作，完全bypass内核。此外，可以充分利用SPDK所提供的异步、无锁化、Zero Copy、轮询等机制，大幅度减少额外的系统开销。它们之间的关系如下所示(以NVMe bdev为例):
SMART是一种磁盘自我分析检测技术，早在90年代末就基本得到了普及 每一块硬盘（包括IDE、SCSI）在运行的时候，都会将自身的若干参数记录下来 这些参数包括型号、容量、温度、密度、扇区、寻道时间、传输、误码率等 硬盘运行了几千小时后，很多内在的物理参数都会发生变化 某一参数超过报警阈值，则说明硬盘接近损坏 此时硬盘依然在工作，如果用户不理睬这个报警继续使用 那么硬盘将变得非常不可靠，随时可能故障
存储稳定性测试与数据一致性校验工具和系统：https://github.com/zhangyoujia/hd_write_verify
作为目前数据库引擎的两种主要数据结构，LSM-tree和B+-tree在业界已经有非常广泛的研究。相比B+-tree，LSM-tree牺牲一定的读性能以换取更小的写放大以及更低的存储成本，但这必须建立在已有的HDD和SSD的基础上。 探索前沿研究，聚焦技术创新，本期DB·洞见由腾讯云数据库高级工程师王宏博进行分享，主要介绍一篇2022年FAST的论文，主题为“基于硬件透明压缩的B+树优化”。本次分享的论文针对可计算存储SSD（支持硬件透明压缩）提出了三种有趣的设计方法，从而极大地减少了B+-tree的写放大
在如今大数据的环境中，磁盘的性能和稳定性是非常重要的一个业务因素。在Linux系统中，smartctl是较为常用的磁盘检测工具。
在数据库的使用过程（包括其它多种应用）中，我们通常会关注一些系统指标，比如CPU的使用率，内存的占用量，或者IO的带宽消耗等等。这些系统指标可以帮助我们评估应用对系统资源的占用情况，进而找到应用进一步优化的方向。
概述：NVM Express（NVMe），或称非易失性内存主机控制器接口规范（英语：Non Volatile Memory Host Controller Interface Specification，缩写：NVMHCIS），是一个逻辑设备接口规范。它是与AHCI类似的、基于设备逻辑接口的总线传输协议规范（相当于通讯协议中的应用层），用于访问通过PCI Express（PCIe）总线附加的非易失性存储器介质（例如采用闪存的固态硬盘驱动器），虽然理论上不一定要求 PCIe 总线协议。
在上期，我们讲到，SSD的擦除，是以块(block)为单位进行的，每次将擦除若干个页(page)的内容。如果我们需要改写一个页(page)，有两种实现方法：
刚看了一下，上一次我分享完内存篇的时候是2019年12月25号。没想到在我酝酿和打磨磁盘篇的这段时间里，我们的生活发生了如此大的变化。人类一直觉得自己是地球上所有生物的主宰，没想到这次被一个小小的病毒狠狠地咬了一口，而且还在欧美继续猖狂。也许是人类安逸太久了，早已经没有原始社会那种需要战战兢兢过日子的心态，在病毒初见端倪的时候，并没有得到足够的重视。甚至中国已经和病毒进行着全国大战役的时候，欧美的同学们还在开开心心的闲逛，聚会。本来他们有足够多的时间和机会的，结果却演变到了今天这个局面。我想说的一句是，人类在宇宙中能够存在，本来就已经是一个极低概率的事件了，宇宙中的各种射线，上千度万度的高温，都是脆弱的人类生命的不可承受之重。人类现在已经把宇宙观测到放大到星系团了暂时也没发现其它文明存在。不管自己多牛逼，始终还是要保存一颗敬畏自然、敬畏其它物种的心，且行且珍惜。
腾讯云官网中有一篇帮助文档“扩容Linux文件系统，https://www.qcloud.com/document/product/362/6738，讲解了GPT分区云硬盘扩容后修改分区指引和MBR分区云硬盘扩容后修改分区指引。其中MBR分区扩容下，若扩容后的空间已经大于2TB则不可选择。官网文档没有涉及到MBR的分区扩展到2T以上该怎么处理。
极简IO路径, 原生RDMA(verbs)和SPDK引擎落盘加持, 能充分发挥硬件性能, 支持快照, 多副本等, 高可用的高性能分布式存储, 让我们一起见证全闪时代吧!
首先简单认识一下硬盘的物理结构，总体来说，硬盘结构包括：盘片、磁头、盘片主轴、控制电机、磁头控制器、数据转换器、接口、缓存等几个部分。所有的盘片(一般硬盘里有多个盘片，盘片之间平行)都固定在一个主轴上。在每个盘片的存储面上都有一个磁头，磁头与盘片之间的距离很小(所以剧烈震动容易损坏)，磁头连在一个磁头控制器上，统一控制各个磁头的运动。磁头沿盘片的半径方向动作，而盘片则按照指定方向高速旋转，这样磁头就可以到达盘片上的任意位置了。
基于广州星嵌电子科技有限公司TMS320C6657+ZYNQ7035/45评估板的PL端实现标准NVMe 1.3协议的Host端，即纯逻辑实现NVMe Host IP。
最近，给当台式服务器一样使用了两年的 ThinkPad 做了存储升级和数据迁移，对硬盘也做了额外的散热处理。
在TS过程中会碰到很多磁盘异常出现影响系统数据或者生产数据的情况，但是有时候无法判断磁盘出现问题是由于磁盘物理损坏还是磁盘SATA口接触不良导致，这个时候smartctl命令就可以很容易判断出磁盘是否存在物理损坏问题，并且及时作出预警。
LSM 树广泛用于数据存储，例如 RocksDB、Apache AsterixDB、Bigtable、HBase、LevelDB、Apache Accumulo、SQLite4、Tarantool、WiredTiger、Apache Cassandra、InfluxDB和ScyllaDB等。
本文为joshua317原创文章,转载请注明：转载自joshua317博客 https://www.joshua317.com/article/172
avahi-daemon是一种Linux操作系统上运行在客户机上实施查找基于网络的Zeroconf service的服务守护进程。 该服务可以为Zeroconf网络实现DNS服务发现及DNS组播规范。 用户程序通过Linux D-Bus信息传递接收发现到网络服务和资源的通知。该守护进程配合缓存用户程序的答复，以帮助减少因答复而产生的网络流量。 每个客户的都需要安装vdbench，路径保持一致
1、查看硬盘分区情况和各分区挂载情况 fdisk -l df -h 📷 2、将未分区空间进行分区 # 磁盘命令操作： # a toggle a bootable flag # b edit bsd disklabel # c toggle the dos compatibility flag # d delete a partition # g create a new empty GPT partition table # G create an IRIX (SGI) partit
固态硬盘（SSD）凭借超高速的读写速度在高端玩家中颇受欢迎，但是SSD硬盘也暴露出一些不成熟的表现，之前已有过固件门、性能下降等例子。Techgage网站最新的测试显示SSD硬盘在数据恢复方面遇到了新的挑战，这一问题在支持TRIM指令的固态硬盘上尤为严重。有鉴于此，编辑将这篇文章编译过来希望能引起玩家的重视。目前这一问题还没有别的评测加以佐证，笔者手头也没有固态硬盘可重复验证，希望正在使用固态硬盘的玩家在评论中多多探讨，并注意备份自己的重要数据。
硬盘的物理结构是比较复杂的，这里我们只需要知道最常用到的几个术语即可，也就是chs寻址中所涉及到的结构
在上一节中，我们学习了操作系统对被打开文件的管理，但是对于一台计算机来说，磁盘上大部分的文件是未被打开的，而这些文件也需要被静态管理起来，方便我们随时打开。操作系统对未打开文件的管理，称为文件系统。
MBR的缺点主要在于他是个程序。引导程序和磁盘分区原本是不太相关的两个事情，但是MBR却用一种及其原始的方式把它们混合在了一起。此外，MBR程序本身也带来了不少麻烦。由于MBR运行在实模式，因此它的编写与引导过程的其它程序有诸多不同。而且由于MBR是直接写在引导扇区的，并不是以文件的形式存在，因此对MBR进行管理也十分麻烦。缺少程序校验也使黑客可以通过更改MBR，让病毒在操作系统引导前就完成载入。总而言之，MBR的设计真的太过时了。
fdisk - Partition table manipulator for Linux ，译成中文的意思是磁盘分区表操作工具;本人译的不太好，也没有看中文文档;其实就是分区工具
前些天群友@Seraph_JACK在整引导，于是我也跟着云了一下。结果发现，我对引导相关的了解着实拉跨。所以趁此机会，正好完整学习一下引导相关的知识。本篇文章大致会涉及MBR、GPT、UEFI等内容，以使用Grub引导Linux为例，来分析启动的具体过程。
最新需要使用硬盘做一些测试，需要使用到hdparm工具，并进行了解，并进行简要记录；
(（1）通过fdisk -l 查看机器所挂硬盘个数及分区情况；一、fdisk用法详解
哈哈，没错，我们现在处于信息时代，每天都在和电脑、手机打交道。我们的工作和生活，已经完全离不开视频、音乐、图片、文本、表格这样的数据文件。
都说数据堪比新时代的石油，极富价值。但比数据本身更重要的是，数据价值如何快速、高效地释放。毫无疑问，谁能快速、高效释放数据价值，谁就在激烈市场竞争中占据主动。
fdisk 操作硬盘的命令格式如下： [root@localhost beinan]# fdisk 设备 比如我们通过 fdisk -l 得知 /dev/hda 或者 /dev/sda设备；我们如果想再添加或者删除一些分区，可以用 [root@localhost beinan]# fdisk /dev/hda 或 [root@localhost beinan]# fdisk /dev/sda 注 在以后的例子中，我们要以 /dev/sda设备为例，来讲解如何用fdisk 来操作添加、删除分区等动作； 1、fdisk 的说明； 当我们通过 fdisk 设备，进入相应设备的操作时，会发现有如下的提示；以 fdisk /dev/sda 设备为例，以下同；
由于新添加硬盘时要确定是对哪个盘进行分区挂载，以免误操作而造成数据损失。 使用 fdisk -l 进行查看。
保护MBR包含一个DOS分区表(LBA0)，只包含一个类型值为0xEE的分区项，在小于2TB的磁盘上，大小为整个磁盘；在更大的磁盘上，它的大小固定为2TB。它的作用是阻止不能识别GPT分区的磁盘工具试图对其进行分区或格式化等操作，所以该扇区被称为“保护MBR”。实际上，EFI根本不使用这个分区表。
假如你有个大木桶要装东西，如果木桶没有划分层，所有东西全部放入里面，虽然可以装，但是对大木桶的使用就合不合理，造成杂乱无章，寻找东西时候也耗时，甚至还有不同物品之间不能存放在一起而导致危险，那更好的做法自然是给大木桶画一下不同的区域，分成不同的层，每个层放不同的东西，即安全，寻找起来也方便；
作者简介：程彬，腾讯基础架构部数据库研发负责人。2008年毕业加入腾讯，一直从事数据存储相关研发工作;在云计算浪潮涌来之时参与到腾讯云存储产品的打造。目前在腾讯TEG基础架构部，负责数据库(CDB)和云硬盘(CBS)研发相关工作。
1. 如果没有fork创建子进程的步骤，无论是运行进程还是将运行结果重定向到log.txt文件，两者输出结果都是相同的，均为4条打印信息
全局唯一标识分区表（GUID Partition Table，缩写：GPT）是一个实体硬盘的分区结构。它是可扩展固件接口标准的一部分，用来替代BIOS中的主引导记录分区表。传统的主启动记录 (MBR) 磁盘分区支持最大卷为 2.2 TB (terabytes) ，每个磁盘最多有 4 个主分区（或 3 个主分区，1 个扩展分区和无限制的逻辑驱动器）。与MBR 分区方法相比，GPT 具有更多的优点，因为它允许每个磁盘有多达 128 个分区，支持高达 18 千兆兆字节 (exabytes，1EB=10^6TB) 的卷大小，允许将主磁盘分区表和备份磁盘分区表用于冗余，还支持唯一的磁盘和分区 ID (GUID)。 与 MBR 分区的磁盘不同，GPT的分区信息是在分区中，而不象MBR一样在主引导扇区。为保护GPT不受MBR类磁盘管理软件的危害，GPT在主引导扇区建立了一个保护分区 (Protective MBR)的MBR分区表，这种分区的类型标识为0xEE，这个保护分区的大小在Windows下为128MB，Mac OS X下为200MB，在Window磁盘管理器里名为GPT保护分区，可让MBR类磁盘管理软件把GPT看成一个未知格式的分区，而不是错误地当成一个未分区的磁盘。另外，GPT 分区磁盘有多余的主要及备份分区表来提高分区数据结构的完整性。
ROM Code是固件在STM32MP157内部的一段程序，是在复位后执行的第一段程序，复位后STM32MP157内部的两个A核执行相同的程序，由于ROM Code中进行了判断，所以ROM Code只在Core0上运行。
近期回顾了下HDD磁盘的结构知识点，重新又理下几个比较有意思的问题稍作整理记录分享下。
1.检测LINUX系统识别的硬盘设备 [root@localhost ~]# fdisk -l 磁盘 /dev/sda：42.9 GB, 42949672960 字节，83886080 个扇区 Units = 扇区 of 1 * 512 = 512 bytes 扇区大小(逻辑/物理)：512 字节 / 512 字节 I/O 大小(最小/最佳)：512 字节 / 512 字节 磁盘标签类型：dos 磁盘标识符：0x000d3824 设备 Boot Start
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
