在 Linux 操作系统中，有许多命令可用于管理和查看存储设备。其中，lsblk 和 blkid 是两个常用的命令，用于显示和识别块设备及其相关信息。本文将详细介绍如何使用 lsblk 和 blkid 命令来管理和获取关于块设备的有用信息。
运维工程师（Operations）是负责维护并确保整个服务的高可用性，同时不断优化系统架构提升部署效率、优化资源利用率提高整体的ROI的专业人员。他们的基本职责是负责服务的稳定性，确保服务可以7*24H不间断地为用户提供服务。
今天在折腾我的 NVIDIA Xavier NX 的边缘计算盒子的时候，发现在我执行 lsblk 命令的时候，在块设备列表下面，挂载有 zram 的设备，所以就花点时间去研究了下 zram 相关的技术，在学习的过程中，不断的对未知的知识进行探索，各个击破，融会贯通，这就是学习的过程，写教程分享，也是为了记录自己学习的过程，跟大家一起探讨；
首先我们通过uname来查看一下服务器Linux系统，可以看到是20.04.1的Ubuntu系统。
在linux的系统维护中，可能需要经常查看cpu使用率，分析系统整体的运行情况,以便性能分析优化。而监控CPU的性能一般包括以下3点：运行队列、CPU使用率和上下文切换。
块设备驱动块是Linux下3大设备驱动框架之一，块设备主要是针对存储类型的设备设计的驱动，配合文件系统完成数据存储。在应用层的cp、cd、touch、vim、mount等等可以操作文件，可以操作目录的命令都会通过文件系统，通过块设备驱动完成对底层存储设备的访问，实现数据读取或者写入。
在 Linux 系统中，了解和管理磁盘是非常重要的。无论是查看可用的磁盘空间、挂载新的磁盘还是调整分区大小，都需要准确地列出系统中的磁盘信息。本文将详细介绍如何在 Linux 上列出磁盘，以便您可以轻松地进行磁盘管理和相关操作。
通过之前的教程，我们了解如何在Linux和Windows云服务器下挂载和扩容云硬盘，解决了业务存储的性能扩展问题。那么，如何妥善地解决块存储的安全问题呢？这篇我们将一起探索在腾讯云上，为云硬盘做基于dm-crypto/LUKS的块设备加密的方法实践。
内存是计算机系统最重要的资源之一，当操作系统内存不足时，进程申请内存将会失败，从而导致其运行异常或者崩溃。
本文为joshua317原创文章,转载请注明：转载自joshua317博客 https://www.joshua317.com/article/169
RAID (Redundant Array of Independent Disks独立磁盘冗余阵列) 是将多颗独立的硬盘整合成一个存储单元的数据存储技术。
最近，烦心事有点多，博客也像是进入了便秘期。虽然还远远不到说放弃的地步，但总有一种挤不出牙膏的郁闷感。很怀念前几个月的冲劲和激情，一天都能存好几篇优质草稿。 看来，张戈博客是首次进入瓶颈阶段了！没办法
如果您是 Linux 新手或打算放弃 Windows 并切换到 Linux 的人，那么本文将对您很有用，这篇分步文章将引导您完成在 Linux 中将主目录移动到新分区或驱动器的过程。
前言 在linux平台上，我们经常需要使用各种各样的工具查看设备的使用情况。例如使用iostat查看块设备的IO情况，使用iftop查看网卡设备的流量情况。 但是virtio family的设备这种越来越多，virtiofs、virtio gpu、virtio console等设备却缺少相应的工具。基于以上原因，作者开发了virtiostat工具，作为bcc工具集的一部分，提供了virtio设备的stat监控能力。 分析 原理 在Linux上，virtio设备进行IO的时候，会先生成scatterlist这样的数据结构，然后使用如下几个API，把数据加入到virt queue中：
r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。
文件和目录10项属性目录 1:索引节点：inode 2:文件类型 3:链接数 4:用户 5:组 6:文件大小 7.8.9:时间戳 10:文件名
vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。 选项 -a：显示活动内页； -f：显示启动后创建的进程总数； -m：显示slab信息； -n：头信息仅显示一次； -s：以表格方式显示事件计数器和内存状态； -d：报告磁盘状态； -p：显示指定的硬盘分区状态； -S：输出信息的单位。 vmstat 3 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 320 42188 167332 1534368 0 0 4 7 1 0 0 0 99 0 0 0 0 320 42188 167332 1534392 0 0 0 0 1002 39 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 19 1002 44 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 一般vmstat工具的使用是通过两个数字参数来完成的，第一个参数是采样的时间间隔数，单位是秒，第二个参数是采样的次数 r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。 b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。 swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。 free 空闲的物理内存的大小，我的机器内存总共8G，剩余3415M。 buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用300多M cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用300多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。) si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。 so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。 bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒 bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。 in 每秒CPU的中断次数，包括时间中断 cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源
在大多数的计算机系统上，Linux 或者是其它，当你插入一个 USB 设备时，你会注意到一个提示驱动器存在的警告。如果该驱动器已经按你想要的进行分区和格式化，你只需要你的计算机在文件管理器或桌面上的某个地方列出驱动器。这是一个简单的要求，而且通常计算机都能满足。
性能调优是找出系统瓶颈并消除这些瓶颈的过程。 很多系统管理员认为性能调优仅仅是调整一下内核的参数即可解决问题， 事实上情况并不是这样。 性能调优是实现操作系统的各个子系统之间的平衡性，这些子系统包括：
研究IO也很久了，一直无法串联bio和块设备驱动，只知道bio经过IO调度算法传递到块设备驱动，怎么过去的，IO调度算法在哪里发挥作用，一直没有完全搞明白，查看了很多资料，终于对块设备驱动有所理解，也打通了bio到块设备。
2.一个不错的中文Linux手册：http://cpp.ezbty.org/manpage
df命令是Linux系统中的一个常用命令，用于显示磁盘空间使用情况。它可以显示文件系统的总空间、已用空间、可用空间、使用率等信息。使用df命令可以帮助用户了解磁盘空间的使用情况，以便及时进行磁盘清理或扩容等操作。
如果将一个设备连接到Linux系统时，通常需要一个设备驱动程序才能正常工作。你可以通过设备文件或设备节点与设备驱动程序交互，这些是看起来像普通文件的特殊文件。由于这些设备文件就像普通文件一样，你可以使用ls、cat等程序与它们交互。这些设备文件一般存放在/dev目录下。继续并在你的系统上通过命令ls /dev查看/dev目录，你将看到系统上有大量的设备文件。
在 Linux 系统中一切皆文件，除了通常所说的狭义的文件以外，目录、设备、套接字和管道等都是文件。
块是一种具有一定结构的随机存取设备，对这种设备的读写是按块进行的，他使用缓冲区来存放暂时的数据，待条件成熟后，从缓存一次性写入设备或者从设备一次性读到缓冲区。 块设备是与字符设备并列的概念， 这两类设备在 Linux 中驱动的结构有较大差异，总体而言， 块设备驱动比字符设备驱动要复杂得多，在 I/O 操作上表现出极大的不同，缓冲、 I/O 调度、请求队列等都是与块设备驱动相关的概念。
我们知道，日常中我们的台式机、笔记本电脑上的磁盘都会有几百G的容量，这种磁盘一般都是机械磁盘，即使用一些精密的机械部件组成的磁盘。而近几年来，越来越多的笔记本电脑中内置了固态磁盘，固态磁盘又称SSD磁盘。
Lustre 如何工作的 📷 Lustre 架构说明 lustre是一个基于对象的分布式文件系统。它核心有三个组件元数据服务(mds)、对象存储服务(oss)和客户端(client).lustre采用块设备来存储文件和元数据，每个块设备由单一独立的lustre服务来管理。比如lustre的元数据服务，元数据需要存储在块设备上，元数据进程需要把元数据写入到这个块设备上。lustre的总容量是所有的ost(oss管理的块设备)之和。lustre客户端是通过标准的Posix/IO的系统调用。 📷 MDS(meta
# 比如一本书，整本书就相当于一块磁盘或分区，书的前几页目录就相当于inode。每一页的文字、图片相当于一个block
前言： qemu的disk设备后端存储支持了多种类型。 本文简单简单列举几种，对比一下其中的特点。再重点分析http类型。 分析： 1，disk types qemu支持的disk类型，以及使用方法，参考libvirt的官方文档http://localhost/formatdomain.html#elementsDisks，其中常用的类型： file，就是文件类型，一般常用raw格式和qcow2格式。qemu-img info xxx.img可以查看具体类型和一些参数。对于file类型的数据，读写都需要经
单机存储引擎负责高效的组织数据、索引数据、保存数据，为上层应用提供易用的接口。有一类存储引擎为了得到更高的性能，会跨过文件系统这一层调用，直接操作裸盘。那么如何实现这类存储引擎呢？本文希望以 Ceph BlueStore 为例子，介绍一下其中的实现方法。
在Linux系统特别是服务器系统中常常会需要查看设备的硬件信息，这时候使用命令查看就显得非常方便。本文介绍几个在Linux系统中查看硬件信息的命令，它们是lspci、lsblk、lscpu 和 lsusb。
在写上一篇博客时,我发现我没搞清楚块设备(block device),分区(partion)和文件系统(filesystem)这几个概念之间的关系,今早查了一些资料才慢慢理解了它们之间的关系,所以我想写出来,看看我能不能将一个问题描述清楚.下面我依次描述设备文件,分区和文件系统这三个概念.
zram是基于内存压缩的块设备，怎么理解，假设我们申请一个1G的zram块设备，这个块设备并没有实际的物理存储区域，是用内存模拟的，当一个128MB的文件被写入到zram的块设备，这个文件会被经过"牛逼"的压缩算法，然后保存在zram临时申请的物理内存中。
在Linux系统中所有的设备都统称为文件，所以同样必须要去学习下linux文件系统到底是何物？？？
vmstat 命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值，包括服务器的CPU使用率，MEM内存使用，VMSwap虚拟内存交换情况，IO读写情况。
[TOC] 0x01 基础信息 描述:本文主要针对以下方面的进行记录学习 (1) 对象存储、文件存储和块存储介绍与区别? (2) 0x02 多种存储类型差异 Q:对象存储、文件存储和块存储介绍?
1、字符设备驱动: 当我们的应用层读写(read()/write())字符设备驱动时,是按字节/字符来读写数据的,期间没有任何缓存区,因为数据量小,不能随机读取数据,例如:按键、LED、鼠标、键盘等 2、块设备: 块设备是i/o设备中的一类, 当我们的应用层对该设备读写时,是按扇区大小来读写数据的,若读写的数据小于扇区的大小,就会需要缓存区, 可以随机读写设备的任意位置处的数据，例如 普通文件(.txt,.c等),硬盘,U盘，SD卡。 3、块设备结构： 段(Segments)：由若干个块组成。是Linux内存管理机制中一个内存页或者内存页的一部分。 块 (Blocks)： 由Linux制定对内核或文件系统等数据处理的基本单位。通常由1个或多个扇区组成。（对Linux操作系统而言） 扇区(Sectors)：块设备的基本单位。通常在512字节到32768字节之间,默认512字节 应用程序进行文件的读写，通过文件系统将文件的读写转换为块设备驱动操作硬件。
"du"命令用于查看文件和目录的磁盘使用情况，即查看特定文件或目录的空间占用情况。
在本文[1]中，我们将回顾一些可用于检查 Linux 中磁盘分区的 Linux 命令行实用程序。
这三者的本质差别是使用数据的“用户”不同：块存储的用户是可以读写块设备的软件系统，例如传统的文件系统、数据库；文件存储的用户是自然人；对象存储的用户则是其它计算机软件。
如果我们要介绍 Linux，我们就不得不首先说一下 Unix。 Unix: 一种多用户、多进程的计算机操作系统，开发于 1970 年在美国 AT&T 公司的贝尔实验室的 AT＆T Unix。 此后的 10 年，Unix 在学术机构和大型企业中得到了广泛的应用，当时的 Unix 拥有者 AT&T 公司以低廉甚至免费的许可将 Unix 源码授权给学术机构做研究或教学之用，许多机构在此源码基础上加以扩充和改进，形成了所谓的 “Unix 变种”。 最著名的变种之一是由加州大学 Berkeley 分校开发的 BSD(Berkeley Software Distribution)。 后来 AT&T 意识到了 Unix 的商业价值，不再将 Unix 源码授权给学术机构，并对之前的 Unix 及其变种声明了版权。BSD 在 Unix 的历史发展中具有相当大的影响力，被很多商业厂家采用，成为很多商用 Unix 的基础。其不断增大的影响力终于引起了 AT&T 的关注，于是开始了一场持久的版权官司。最终允许 Berkeley 分校自由发布自己的 Unix 变种，但是前提是必须将来自于 AT&T 的代码完全删除，于是诞生了 4.4 BSD Lite 版，由于这个版本不存在法律问题，4.4 BSD Lite 成为了现代柏克莱软件套件的基础版本。BSD 在发展中也逐渐衍生出3个主要的分支:
廖威雄，就职于珠海全志科技股份有限公司，负责Linux IO全栈研发、性能优化、开源社区开发交流、Linux 内核开源社区pstore/blk,mtdpstore模块的作者(与maintainer交流中)、大客户存储技术支持、全志首个UBI存储方案主导人、全志首个RTOS NFTL主导人。
loop设备是一种伪设备，是使用文件来模拟块设备的一种技术，文件模拟成块设备后, 就像一个磁盘或光盘一样使用。在使用之前，一个 loop 设备必须要和一个文件进行连接。这种结合方式给用户提供了一个替代块特殊文件的接口。因此，如果这个文件包含有一个完整的文件系统，那么这个文件就可以像一个磁盘设备一样被 mount 起来。之所以叫loop设备（回环），其实是从文件系统这一层来考虑的，因为这种被 mount 起来的镜像文件它本身也包含有文件系统，通过loop设备把它mount起来，它就像是文件系统之上再绕了一圈的文件系统，所以称为 loop。
在存储设备中，使用分层技术，将冷热数据自动分层存放在具有不用读写性能的存储介质上，已经是很普遍的做法，比如 IBM 的 DS8K 中使用的 Easy Tier。这些功能都需要存储设备固件的支持，如何在 Linux 主机上，使用 Linux 现有的机制，实现数据的分层存储？本文主要介绍了 Linux 平台上两种不同的实现分层存储的方案。 背景介绍 随着固态存储技术 (SSD)，SAS 技术的不断进步和普及，存储介质的种类更加多样，采用不同存储介质和接口的存储设备的性能出现了很大差异。SSD 相较于传统的机械硬
Linux系统文件操作主要是通过块设备驱动来实现的。 块设备主要指的是用来存储数据的设备，类似于SD卡、U盘、Nor Flash、Nand Flash、机械硬盘和固态硬盘等。块设备驱动就是用来访问这些存储设备的，其与字符设备驱动不同的是：
在我之前的文章：《探讨 Linux 的磁盘 I/O》中，我谈到了 Linux 磁盘 I/O 的工作原理，我们了解到 Linux 存储系统 I/O 栈由文件系统层（file system layer）、通用块层（ general block layer）和设备层（device layer）构成。
1.linux文件属性 ls -lih i查看文件inode，h查看文件大小 文件总共10个属性 inode索引节点编号（唯一的） 文件类型和权限，第一个字符为类型，后面字符为权限 硬链接的数
中的lsblk 用于列出有关所有可用块设备的信息，但它不会列出有关RAM Disk的信息（其数据实际存储在RAM内存之中）。块设备一般包括硬盘、网络存储、usb存储，光盘等
介绍TinaLinux Flash，分区，文件系统等存储相关信息，指导方案的开发定制。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
