实际上不管是内存还是磁盘，快或慢关键在于寻址的方式，磁盘分为顺序读写与随机读写，内存也一样分为顺序读写与随机读写。...基于磁盘的随机读写确实很慢，但磁盘的顺序读写性能却很高，一般而言要高出磁盘随机读写三个数量级，一些情况下磁盘顺序读写性能甚至要高于内存随机读写，这里给出著名学术期刊 ACM Queue 上的一张性能对比图...磁盘的顺序读写是磁盘使用模式中最有规律的，并且操作系统也对这种模式做了大量优化，Kafka就是使用了磁盘顺序读写来提升的性能。...零拷贝 这里主要讲的是Kafka利用linux操作系统的 "零拷贝（zero-copy）" 机制在消费端做的优化。...linux操作系统 "零拷贝" 机制使用了sendfile方法，允许操作系统将数据从Page Cache 直接发送到网络，只需要最后一步的copy操作将数据复制到 NIC 缓冲区，这样避免重新复制数据。
Kafka虽然是基于磁盘做的数据存储，但却具有高性能、高吞吐、低延时的特点，其吞吐量动辄几万、几十上百万，这其中的原由值得我们一探究竟。...本文属于Kafka知识扫盲系列，让我们一起掌握Kafka各种精巧的设计。 零拷贝 这里主要讲的是Kafka利用linux操作系统的 "零拷贝（zero-copy）" 机制在消费端做的优化。...首先来了解下数据从文件发送到socket网络连接中的常规传输路径： 操作系统从磁盘读取数据到内核空间（kernel space）的Page Cache 应用程序读取Page Cache的数据到用户空间...linux操作系统 "零拷贝" 机制使用了sendfile方法，允许操作系统将数据从Page Cache 直接发送到网络，只需要最后一步的copy操作将数据复制到 NIC 缓冲区，这样避免重新复制数据。...这样，Kafka提供大容量的磁盘存储也变成了一种优点。由于本人才粗学浅，表述有误的地方欢迎指教。 更多实时计算相关技术博文，欢迎关注实时流式计算
实际上不管是内存还是磁盘，快或慢关键在于寻址的方式，磁盘分为顺序读写与随机读写，内存也一样分为顺序读写与随机读写。...基于磁盘的随机读写确实很慢，但磁盘的顺序读写性能却很高，一般而言要高出磁盘随机读写三个数量级，一些情况下磁盘顺序读写性能甚至要高于内存随机读写，这里给出著名学术期刊 ACM Queue 上的一张性能对比图...： image.png 磁盘的顺序读写是磁盘使用模式中最有规律的，并且操作系统也对这种模式做了大量优化，Kafka就是使用了磁盘顺序读写来提升的性能。...零拷贝 这里主要讲的是Kafka利用linux操作系统的 "零拷贝（zero-copy）" 机制在消费端做的优化。...linux操作系统 "零拷贝" 机制使用了sendfile方法，允许操作系统将数据从Page Cache 直接发送到网络，只需要最后一步的copy操作将数据复制到 NIC 缓冲区，这样避免重新复制数据。
磁盘的 UUID 是唯一且不随主机重启改变，因此绑定磁盘时需要用到 UUID，那么如何获取 UUID呢？ 本文假设需要获取 /dev/sda 磁盘的 UUID！...Linux 6： scsi_id -g -u /dev/sda Linux 7/8： /usr/lib/udev/scsi_id -g -u /dev/sda ---- 本次分享到此结束啦~ 如果觉得文章对你有帮助...，点赞、收藏、关注、评论，一键四连支持，你的支持就是我创作最大的动力。
软件环境：虚拟机VM12，Linux版本 CentOS 7.3 命令 df （disk filesystem） 用于查看已挂载磁盘的总容量、使用容量、剩余容量等，可以不加任何参数，默认以KB为单位显示。...在上例的结果中： / 、/boot是我们在安装系统时划分出来的。...（具体可参照 Linux操作系统的安装） /dev、/dev/shm 为内存分区，默认大小为内存大小的1/2，将文件存在这个分区下相当于存在了内存中，优点是读写速度非常快，缺点是系统重启时文件就会丢失。...df命令的常用选项有 -i、-h、-k、-m，以下就开始逐一讲解： 1，df -i：查看inodes的使用状况，如果已使用100%，即使磁盘空间有富余，也会提示磁盘空间已满。 ?...如果后面不加任何选项和参数，则只会列出目录（包含子目录）的大小。如果du命令不指定单位的话，默认显示单位为“KB”。 ? ? 2，du -[bkmh] du -b：表示列出的值以B为单位输出。
大家好，又见面了，我是你们的朋友全栈君。 磁盘经过分区和格式化后，如果想要使用这些磁盘，那么还需要挂载。...第3列是分区的格式。 第4列是挂载的一些挂载参数，一般情况下，直接写defaults。 常用选项： async/sync:async表示与磁盘和内存不同步。...usrquota:启动用户的磁盘配额模式，即对用户限定使用的磁盘额度。 grquota:启动群组的磁盘配额模式。 第5列表示是否被dump备份。0表示不备份，1表示备份。...第6列表示开机时是否自检磁盘。0表示不检测，1和2表示检测，1的优先级高，所以先检测1再检测2，如果有多个分区需要开机检测，就都设置为2。.../newdir下了，mount -a命令，会把/etc/fstab中出现的所有磁盘分区挂载上。
如何将一个盘的空间转移到另一个盘中，因为会经常遇到这种情况，在/home目录下磁盘很大，但/root少得可怜，如何把/home的空间转移到/root中呢？下文教你实战。...fedora24下实战 使用如下命令查看磁盘使用情况 df -lh 文件系统 容量 已用 可用 已用% 挂载点 devtmpfs 3.9G 0 3.9G 0% /dev...取消/home目录的挂载 umount -v /home 检查要转移的磁盘 e2fsck -ff /dev/mapper/fedora-home #此命令操作结果的5个步骤必需全部通过 显示结果如下...fedora-home: 130190/10838016 files (0.1% non-contiguous), 8077341/43338752 blocks 改变/dev/mapper/fedora-home的磁盘大小...，希望对大家的学习有所帮助。
在我之前的文章：《探讨 Linux 的磁盘 I/O》中，我谈到了 Linux 磁盘 I/O 的工作原理，我们了解到 Linux 存储系统 I/O 栈由文件系统层（file system layer）、通用块层...其中，通用块层是 Linux 磁盘 I/O 的核心。向上，它为访问文件系统和应用程序的块设备提供了标准接口；向下，它将各种异构磁盘设备抽象为一个统一的块设备，并响应文件系统和应用程序发送的 I/O。...在本文中，我们来看看磁盘的性能指标以及如何查看这些指标。 Linux 磁盘性能指标 在衡量磁盘性能时，我们经常提到五个常见指标：利用率、饱和度、IOPS、吞吐量和响应时间。...饱和度（Saturation）：指磁盘处理 I/O 的繁忙程度。过度饱和意味着磁盘存在严重的性能瓶颈。当饱和度为 100% 时，磁盘无法接受新的 I/O 请求。...结论 在本文中，我介绍了 Linux 磁盘 I/O 的性能指标和查看性能工具。我们通常使用 IOPS、吞吐量、利用率、饱和度和响应时间等几个指标来评估磁盘的 I/O 性能。
|--分区基础知识 说明： |--1.linux无论有几个分区，分给那一目录使用， 只有一个根目录，一个独立且唯一的文件结构 linux中每个分区都是用来组成整个文件系统的一部分... |--2.linux采用一种叫"载入"的处理方式，它的整个文件系统 中包含一个整套的文件和目录，且将一个分区和一个目录 联系起来，这时要载入的一个分区将使它的存储空间...位不重复的字符串 挂载点 mount 挂载 umount 卸载 |--挂载案例 需求给linux系统增加新硬盘，挂载到/home/newdisk 如何增加一块硬盘... 基本语法 df -h eg: 查询系统整体磁盘使用情况 df -lh |--查询指定目录的磁盘占用情况 ...-h 计量单位 -a 含文件 -max-depth=1 子目录深度 -c 列出明细的同时，增加汇总值 eg： 查询/opt目录的磁盘占用情况
在服务器运维过程中，我们时常会遇到这样的情况，收到服务器磁盘空间告警 登录服务器，通过df -Hl查看 和告警信息一致，接着我们就是要找到导致磁盘空间满的目录或文件 如何找到占用空间大的目录或文件...|sort -nr 通过这样的方式，可以搜出以G或者T为单位的占用磁盘空间的大目录，并排序 或者可以通过find来查询 find / -type f -size +1G -exec du -h {}...很多时候，你会发现，通过find或du查半天，发现所有加起来的占用空间，和df看到的磁盘空间占用，相差很大，就比如我上面的两张图 通过df查看，磁盘使用37G，但是在根目录下通过du -hs 查看，总共加起来差不多...但是空间没释放，这是很常见的一种情况 对应的解决方法就是，重启tomcat应用，释放空间 磁盘空间莫名被吃？...还有一种经常有人问的问题，就是，通过df查看到的磁盘 会发现，Used和Avail加起来不够Size，莫名被吃掉一部分 其实这是Linux文件系统的一种安全策略，它默认会为root用户保留5%的磁盘空间
Linux 统一密钥设置Linux Unified Key Setup（LUKS）是一个很好的工具，也是 Linux 磁盘加密的通用标准。...客户端安装 在本例中，假设你已经添加了一个名为 /dev/vdc 的新的 1GB 磁盘到你的系统中。...cryptsetup luksFormat 命令对磁盘进行加密。...当提示时，你需要输入大写的 YES，并输入密码来加密磁盘： sudo cryptsetup luksFormat /dev/vdc1WARNING!...现在，每当你重启服务器时，加密后的磁盘应该会自动解密，并通过 Tang 服务器取回密钥进行挂载。 如果 Tang 服务器因为任何原因不可用，你需要手动提供密码，才能解密和挂载分区。
当我们想在系统里增加一块硬盘的时候，要做以下这四步工作： 对磁盘进行分区 对新建的分区进行格式化，目的是为了创建系统可用的文件系统 对新建的文件系统进行检验 将新建的文件系统挂载到系统的目录树上 磁盘分区...例子：给咱电脑的磁盘进行一下分区 //1。...1KB 注意：fdisk -l可以列出整个系统中所有磁盘的所有分区，如果有多个磁盘（比如插入了一块U盘），那么执行这个命令后，再选择p，结果是这样的： PS：也就是会显示两块这样的信息，分别代表两块磁盘中的分区情况.../dev/hda5 * 1 2000 20963801 83 Linux 删除磁盘分区 fdisk /dev/hda //进入fdisk界面 Command...PS：通过mkfs tab tab就可以查看本系统支持的所有文件系统了。 磁盘的检验：fsck 当系统运行出现问题导致文件系统发生错乱，此时就需要磁盘的检验。
硬件设备在Linux中的命名 Linux中每一个设备都被当成文件，所有的设备文件都在/dev这个目录下。...磁盘的接口有两种，分别是IDE接口、SATA接口。...记录整块硬盘的分区状况 磁盘分区表 对磁盘进行分区时，采用柱面作为基本单位。...PS：Linux中，IDE硬盘最多有59个逻辑分区，5号－63号；SATA硬盘最多有11个逻辑分区，5号－15号。...挂载 目录树 在Linux中，整个文件系统呈一棵以/为根目录的树。 挂载 把一个目录当作磁盘中某一个分区的进入点，也就是说，进入了这个目录，就进入了这个磁盘的这个分区。
一、LVM介绍 在我们管理Linux磁盘的时候，通常会遇到这么一种情况。...在最初规划Linux的磁盘的时候，我们给某个分区划分了一定量的磁盘空间，使用一段时间后，发现我们规划的磁盘空间不足了，这个时候怎么办？...我们肯定要想办法给扩容呀，找一块磁盘分区，格式化，然后挂载，然后把数据拷贝到新加的磁盘上，然后把原有的磁盘卸载掉，通常我们是这样做的。...LVM就是将一些零碎的磁盘分区（PV）合并成一个较大的磁盘（VG），然后在根据需要对这个较大的磁盘（VG）进行划分成不同的大小分区（LV），这些小的分区（LV）是可以动态的扩展和缩小的，这就是LVM的逻辑卷管理过程...所谓LVM的大磁盘就是将许多PV整合成的VG，那么这个大磁盘最大可达到多少容量呢？
概述本系列博客一共4篇，是对Linux系统知识的查漏补缺，Linux文件、目录、磁盘模式的一次扫盲知识点，下一篇学习shell的知识点。...w: 可以编辑、新增、或是修改该文件的内容x: 该文件具有可以被系统执行的权限特别注意的有两点：~文件如果在它的家目录，它在此目录下具有rwx的完整权限，因此对于文件来说是有执行权限。...一个Linux文件能不能被执行，与它的第一栏的十个属性有关，与文件名一点关系也没有。...df: 列出文件系统的整体磁盘使用量-h 以人们交易阅读的格式自行显示-i 不用磁盘容量，而是以inode的数量来显示。...du: 查看文件系统磁盘的使用量，显示server目录的大小，忽略/usr目录，命令 du -sh ~/server,~/server是项目目录。
，格式化需要选择一个文件系统来进行格式化，使用cat /etc/filesystems 命令可以查看Linux里支持的文件系统： ? ...2.mke2fs -b 此选项可以指定块的大小，这个块就是格式化磁盘时分隔的一个一个的小块，例如我用ls -lh查看某个文件的大小显示的结果是1.3kb，但是用du -sh查看却是4kb，这就说明这个磁盘的块大小是...4.6 磁盘格式化（下） 3.mke2fs -m此选项可以指定某个磁盘分区的预留容量的大小。...blkid可以看到磁盘的UUID，可以直接使用UUID挂载磁盘： ? 4.9 手动增加swap空间 想要手动增加swap空间的话，需要先添加一个小的虚拟磁盘： ?...dd命令是用来操作磁盘的 if是指定从哪里去读取 /dev/zero是Linux内核的造0器，可以产生源源不断的0 of是指定将0写入到哪个文件里 bs是指定每个块的大小 count是指定newdisk
在Linux系统中，nmap是一个非常流行的网络扫描工具。它可以用于探测主机和网络上的开放端口、操作系统类型、服务和应用程序等信息。nmap还可以与Ping命令结合使用，以便快速识别网络上的活动主机。...本文将介绍如何在Linux上使用nmap和Ping命令进行扫描。 安装nmap和Ping命令 在开始使用nmap和Ping命令之前，需要先安装它们。...例如，要扫描本地网络上的所有主机，可以使用以下命令： sudo nmap -sn 192.168.0.0/24 执行该命令后，nmap会使用Ping命令扫描192.168.0.0/24网段中的所有主机。...grep和cut命令来提取扫描结果中的IP地址信息。...这些技术可以帮助您更全面地了解目标主机或网络的安全状况。如果您想深入了解nmap的扫描技术，可以参考nmap官方文档。 总结 在Linux系统中，nmap和Ping命令是两个非常有用的网络扫描工具。
大家好，又见面了，我是你们的朋友全栈君。 目录 一、磁盘分区 1. 磁盘分区概述 2. 磁盘分区实例 3. 查询磁盘情况 4. 磁盘情况其他指令 二、网络配置 1. 网络概述 2....配置 Linux 网络环境 3. 设置主机名和 host 映射 4. 补充 主机名解析过程 一、磁盘分区 1....磁盘分区概述 Linux 操作系统只有一个根目录，根目录下又分几个区分别分给某一子目录使用，Linux 操作系统中的每个分区都是整个文件系统的一部分，硬盘中的每个分区都会挂载到文件系统的某一目录中...磁盘分区实例 创建一个新的磁盘并分区、挂载再到删除需要有以下几步： （1）添加硬盘 我们先在 Linux 系统中添加一块硬盘，进入“菜单”，选择“设置”，在设备列表中添加硬盘，随后点击“...查询磁盘情况 在目录下创建文件时，文件会保存到与该目录具有挂载关系的磁盘分区中，磁盘存储空间则会越来越小，为了保证磁盘的正常使用，我们必须时刻知道系统磁盘的使用情况。
原文地址：linux下测试磁盘的读写IO速度 作者：zongg 有时候我们在做维护的时候，总会遇到类似于IO特别高，但不能判定是IO瓶颈还是软件参数设置不当导致热盘的问题.这时候通常希望能知道磁盘的读写速度...下面是两种测试方法： (1)使用hdparm命令 这是一个是用来获取ATA/IDE硬盘的参数的命令,是由早期Linux IDE驱动的开发和维护人员 Mark Lord开发编写的( hdparm has...suggestions from many netfolk).该命令应该也是仅用于Linux系统,对于UNIX系统，ATA/IDE硬盘用的可能比较少，一般大型的系统都是使用磁盘阵列的....,平时可以使用来对磁盘的读写速度作一个简单的评估....相比两种方法: 前者是linux上专业的测试IDE/ATA磁盘的工具,但是使用范围有局限性;(此试验仅仅使用了测试磁盘IO的参数,对于其他参数及解释参考man手册) 后者可以通用,但不够专业,也没有考虑到缓存和物理读的区分
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
