首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Linux学习笔记之Linux磁盘及文件系统管理笔记

Linux学习笔记之Linux磁盘及文件系统管理笔记

作者头像
Jetpropelledsnake21
发布2019-07-10 17:46:17
2.1K0
发布2019-07-10 17:46:17
举报
文章被收录于专栏:JetpropelledSnakeJetpropelledSnake
Linux磁盘及文件系统管理
    CPU,memory(RAM),I/O
 
    i/o: disks,ehtercard
        disks:持久存储数据
 
            接口类型:
                IDE(ata): 并口,133MB/s;并行总线,双向四车道;并行数据容易产生干扰,导致数据损坏重传,因此效率低;并行越高,干扰频率越高
                SCSI:并口,Ultrascsi320,320MB/s,UltraSCSI640,640MB/s;SCSI的费用更高;
                SATA: 串口,6Gbps;串行总线,有前后,不能并行传输;
                SAS:串口,6Gbps;
                USB:串口,480MB/s;
 
                并口:同一线缆可以接多块设备;
                    IDE:两个,主,从
                    SCSI:
                        宽带:16-1
                        窄带:8-1
                串口:同一线缆只可以接一设备;
 
                IOps : IO per second
                    IDE:100次左右IO
                    SCSI:150左右
                    SATA:100多
                    SAS:100多到200
                    SSD固态硬盘:400左右
                    7200  rpm的磁盘 IOPS = 1000 / (9 + 4.17)  = 76 IOPS
                    10000 rpm的磁盘IOPS = 1000 / (6+ 3) = 111 IOPS
                    15000 rpm的磁盘IOPS = 1000 / (4 + 2) = 166 IOPS
                    PCI-E接口的固态硬盘IOPS都是
                        440k IOPS // 44万
            硬盘:机械硬盘,固态硬盘SSD;
                固态硬盘:类似于U盘,内部是多个并行
             
                机械硬盘:
                    track:磁道一个同心圆,角速度一致;每一个盘片的双面都可以读取;每一个盘片的每一面都有磁头;
                    sector:扇区就是每一个磁道中被分成若干等分的区域.相邻磁道是有间隔的,这是因为磁化单元太近会产生干扰;512bytes;
                    Cylinder:柱面;分区划分基于柱面;越靠近外部磁道的分区,性能越好;
                    rpm:rotation per minute 每分钟多数转
                        5400rpm,7200rpm,10000rpm,15000rpm
 
                    硬盘的容量=柱面数(CYLINDER)*磁头数(HEAD)*扇区数(SECTOR)*512B
                    存储容量=磁头数×磁道(柱面)数×每道扇区数×每扇区字节数
 
    Linux的哲学思想:一切皆文件;
 
        设备类型:
            块(block):随机访问,数据交换单位是"块";
                sda,sdb
            字符(character):线性访问,数据交换单位是"字符";
                tty1,tty2,pts
        设备文件:FHS
            /dev
                设备文件:关联至设备的驱动程序;设备的访问入口;
                    设备号:
                        major:主设备,区分设备类型;用于标明设备所需要的驱动程序;
                        minor:次设备号,区分同种类型下的不同设备;是特定设备的访问入口
 
                    mknod命令:创建块设备和字符设备
                        mknod [OPTION] ... NAME TYPE [MAJOR MINOR]
                            如: mknod /dev/testdev c 111 1
                            -m MODE : 直接指定其权限 //调用系统调用来实现权限修改
                        TYPE:
                            b 块设备
                            c,u 字符设备,(unbuffered)
                            p FIFO设备
            设备文件名:是统一定义的,ICANN
 
            磁盘:
                IDE: /dev/hd[a-z]
                    例如:/dev/hda,/dev/hdb
                SCSI,SATA,USB,SAS:/dev/sd[a-z]
 
                引用设备的方式:
                    设备文件名
                    卷标
                    UUID  //128位
                分区:
                    /dev/sda[1-4]
                注意:Centos6和7统统将硬盘设备文件表示为/dev/sd[a-z]#
    磁盘分区:MBR,GPT
        MBR:0 sector  //0扇区
            master boot record  //主引导记录
 
            分为三部分:512字节
                446bytes:bootloader,程序,引导启动操作系统的程序
                64bytes:分区表,每16bytes标识一个分区,最多4个分区
                    4主分区
                    3主1扩展:
                        n逻辑分区
                2bytes :MBR区域的有效性,55AA为有效
            主分区和扩展分区的标识:1-4
            逻辑分区:5+
        GPT:
 
    fdisk命令:分区
        fdisk -l [-u] [device...]
        1.查看磁盘分区信息
            -l 列出信息
                centos6:start。。end:柱面
                centos7:start。。end:扇区
        2.管理分区
            fdisk /dev/sdb
            fdisk提供了交互式接口来管理分区,它有很多子命令,分别用于不同的管理功能,所有操作均在内存中完成,没有直接同步磁盘,直到w保存;
                n:创建新分区
                d:删除新分区
                t:修改分区类型
                l:查看所有已经id
                w:保存并退出
                q:不保存并退出
                m:查看帮助
                p:显示现有分区信息
            注意: 在已经分区并已经挂载其中某个分区的磁盘设备上建立的新分区,内核可能在创建完成后无法直接识别;
 
                查看:cat  /proc/partitions
                通知内核强制重读磁盘分区表:
                    centos5: partprobe [device]
                    centos6,7: partx,kpartx
                        partx -a [device]  //多次执行确认是否重读
                        kpartx -af [device]
                分区创建工具:parted,sfdisk
    创建文件系统:
        格式化:低级格式化(分区之前,划分磁道),高级格式化(分区之后对分区进行,创建文件系统)
        元数据区,数据区
            元数据区:inode(index node)
                文件元数据:大小,权限,属主属组 ,时间戳,数据块指针,
 
            链接文件:存储数据指针的空间当中存储的真实文件的访问路径:
            设备文件:存储数据指针的空间当中存心的设备号(major,minor):
 
        bitmap index:位图索引
            参考:http://www.cnblogs.com/LBSer/p/3322630.html
 
        VFS: Virtual File System
            Linux 的文件系统:ext2 ,ext3,ext4,xfs,reiserfs
            光盘:Iso9660
            网络文件系统:nfs, clfs
            集群文件系统:gfs2,ocfs2
            内核级分布式文件系统:ceph
            windows的文件系统:proc,sysfs, tmpfs,hugepagefs
            Unix的文件系统:UFS, FFS, JFS
            交换文件系统:swap
            用户空间的分布式文件系统:mogilefs, moosefs,glusterfs
 
    文件系统管理工具:
        创建文件系统管理工具
            mkfs
                mkfs.ext2(无日志功能),mkfs.ext3, mkfs.ext4, mkfs.xfs,mkfs.vfat,…
        检测及修复文件系统的工具
            fsck
                fsck.ext2,fsck,ext3,….
        查看其属性的工具
            dumpe2fs, tune2fs
        调整文件系统特性:
            tune2fs
链接文件:访问同一个文件不同路径;
    硬连接:指向同一个inode的多个文件路径;
        特性:
            (1)目录不支持硬连接;
            (2)硬连接不能跨文件系统;
            (3)创建硬连接会增加inode路径;
        创建:ln命令
            ln source_file link_file
    符号连接(软连接):指向一个文件路径的另一个文件路径;
        (1)符号链接与原文件是两个各自独立的文件,各有自己的inode;对原文件创建符号链接不会增加引用计数;        (2)支持对目录创建符号链接,可跨文件系统;
        (3)删除符号链接文件不影响原文件;但删除原文件,符号指定的路径即不存在,此时会变成无效链接;
    注意:符号链接文件的大小是其指定的文件的路径字符串的字节数;
        创建:ln -s 命令
            ln -s source_file link_file
                -v:verbose显示过程
磁盘和文件系统管理:
    文件系统管理工具:
        创建文件系统管理工具
            mkfs
                mkfs.ext2(无日志功能),mkfs.ext3, mkfs.ext4, mkfs.xfs,mkfs.vfat,…
        检测及修复文件系统的工具
          fsck
            fsck.ext2,fsck,ext3,….
        查看其属性的工具
            dumpe2fs, tune2fs
        调整文件系统特性:
            tune2fs
    内核级文件系统的组成部分:
        文件系统驱动:由内核提供
        文件系统管理工具:由用户空间的应用程序提供
    ext系列文件系统的管理工具:
        mkfs.ext2(格式化操作),mkfs.ext3, mkfs.ext4
        mkfs -t ext2=mkfs.ext2
 
        ext系列文件系统专用管理工具:mke2fs
            mke2fs [OPTIONS] device
                -t {ext2|ext3|ext4}: fs-type指明要创建的文件系统类型
                    mkfs.ext4=mkfs-t ext4=make2fs -t ext4
                -b {1024 | 2048 | 4096}: 指明文件系统的块block大小;
                -L LABEL: 指明卷标;不可超过16个字符;
                -j:创建有日志功能的文件系统ext4;
                    make2fs -j = mke2fs -t ext3 =mkfs -t ext3 =mkfs.ext3
                -i# :bytes-per-inde.指明inode与字节的比率;即每多少个自己创建一个Inode;
                -m#:reserved-blocks-percentage 指定预留的空间,百分比;
                -N#: last-mounted-directory直接指明要给次文件系统创建的inode的数量;
                -O[^]FEATURE:feature[,...]以指定的特性创建目标文件系统;
            e2label命令: Change the label on an ext2/ext3/ext4 filesystem卷标的查看与设定
                查看:e2label device
                设定:e2label device LABEL
            tune2fs命令:adjust tunable filesystem parameters on ext2/ext3/ext4 filesystems查看或修改ext系列文件系统的某些属性
                adjust tunable filesystem parameters on ext2/ext3/ext4 filesystems;
                注意:块大小创建后不可修改;
            tune2fs [OPTIONS] device
                -l: 查看超级块的内容;
                    [root@centos6_7 ~]# tune2fs -l /dev/sda1
                    tune2fs 1.41.12 (17-May-2010)
                    Filesystem volume name:   <none> //卷标名
                    Last mounted on:          /boot  //最近挂载
                    Filesystem UUID:          8880df83-5bf8-40db-bf6f-bf878b7a7e2e
                    Filesystem magic number:  0xEF53
                    Filesystem revision #:    1 (dynamic) 
                    Filesystem features:      has_journal ext_attr resize_inode dir_index filetype needs_recovery extent flex_bg sparse_super huge_file uninit_bg dir_nlink extra_isize     //文件系统特性
                    Filesystem flags:         signed_directory_hash //标志
                    Default mount options:    user_xattr acl    //默认挂载选项
                    Filesystem state:         clean     //状态干净或不干净
                    Errors behavior:          Continue 
                    Filesystem OS type:       Linux
                    Inode count:              51200
                    Block count:              204800
                    Reserved block count:     10240
                    Free blocks:              158257
                    Free inodes:              51162
                    First block:              1
                    Block size:               1024
                    Fragment size:            1024  //片段
                    Reserved GDT blocks:      256
                    Blocks per group:         8192
                    Fragments per group:      8192
                    Inodes per group:         2048
                    Inode blocks per group:   256
                    Flex block group size:    16
                    Filesystem created:       Sun Aug 12 17:21:56 2018
                    Last mount time:          Sat Sep 15 00:11:46 2018
                    Last write time:          Sat Sep 15 00:11:46 2018
                    Mount count:              6
                    Maximum mount count:      -1
                    Last checked:             Sun Aug 12 17:21:56 2018
                    Check interval:           0 (<none>)
                    Lifetime writes:          44 MB
                    Reserved blocks uid:      0 (user root)
                    Reserved blocks gid:      0 (group root)
                    First inode:              11
                    Inode size:           128
                    Journal inode:            8
                    Default directory hash:   half_md4
                    Directory Hash Seed:      80cf6de5-0a97-4d46-b1a9-98a33980d829
                    Journal backup:           inode blocks
                修改指定文件系统的属性:
                    -j: ext2 –>ext3;
                    -L LABEL: 修改卷标;
                    -m#: 调整预留空间(给管理员)百分比;
                    -O[^]FEATHER: 开启或关闭某种特性;has_journal是ext3特性;
                    -o[^]mount-options: 开启或关闭某种默认挂载选项
                        acl
                        ^acl
            dumpe2fs命令:显示ext系列文件系统的属性信息
                dumpe2fs [-h] device
        用于手动实现文件系统检测的工具:fsck
            因进程意外中止或系统崩溃等原因导致定稿操作非正常终止时,可能造成文件损坏;此时,应该检测并修复文件系统;建议,离线进行;
            ext系列文件系统专用工具:fsck,e2fsck
                e2fsck: check a Linux ext2/ext3/ext4 file system
                e2fsck: [OPTIONS] device
                    -y: 对所有问题自动回答为yes;
                    -f: 即使文件系统处于clean状态,也要强制检测;
                fsck: check and repair a Linux file system
                    -t: fstype:指明文件系统类型;
                        fsck -t ext4=fsck.ext4
                    -a:无须交互而自动修复所有错误;
                    -r:交互式修复;
 
Centos 6 如何使用xfs文件系统:
    #yum -y install xfsprogs (能访问互联网就输入直接安装)
    或者
        #cd/etc/yum.repos.d
        #wget http://ip/源.repo
        #mv CentOS-base.repo CenOS-Base.repo.bak
 
        创建:mkfs.xfs
        检测:fsck.xfs
            mkfs -t ext2=mkfs.ext2
    blkid的命令:
        blkid device
        blkid -L LABEL: 根据LABEL定位设备
        blkid -U UUID: 根据UUID定位设备
swap文件系统:
    Linux上的交换分区必须使用独立的文件系统;且文件系统的Szystem ID 必须为82;
    创建swap设备:mkswap [OPTIONS] device
        -L LABER: 指明卷标
        -f: 强制
 
xfs文件系统在centos7中查看文件系统属性命令:xfs_info
 
Windows无法识别Linux的系统;因此,存储设备需要两种系统之间交叉使用时应该使用windows和Linux同时支持的文件系统:fat32(vfat);
    # mkfs.vfat device
 
文件系统的使用:
    首先要"挂载": mount命令和umount命令
        根文件系统这外的其他文件系统要想能够被访问,都必须通过"关联"至根文件系统上的某个目录来实现,此关联操作即为"挂载";此目录即为挂载点;
        挂载点:mount_point ,用于作为令一个文件系统的访问入口;
            1.事先存在;
            2.应该使用未被或不会被其他进程使用到的目录;
            3.挂载点下原有的文件将会被隐藏;
mount命令:
    mount [-fnrsvw] [-t vfstype] [-o options] device dir
        命令选项:
        -r:readonly只读挂载;
        -w:read and write读写挂载;
        -n:默认情况下,设备挂载或卸载的操作会同步更新至/etc/mtab文件中;-n用于禁止此特性;
        -t:指明要挂在的设备文件系统类型;可省略,此时mount会通过blkid来判断要挂载的设备文件;
        -L LABEL:挂载时一卷标的方式指明设备;
        -U UUID:挂载时以UUID的方式指明设备;
            mount -U UUID diratime
        挂载选项:
        -o options
            syunc/asyunc:同步/异步操作;数据一写就保存内存中的数据到硬盘中为同步;
            atime/noatime:文件或目录在被访问时上是否更新其访问时间戳;
            diratime/nodiratime:目录在被访问时是否更新其访问时间戳;
            remount:重新挂载;
            acl:支持使用facl功能;
                # mount -o acl device dir
                # tune2fs -o acl device
            ro:只读
            rw:读写
            dev/nodev:此设备上是否允许创建设备文件;
            exec/noexec :是否允许自动运行设备上的程序文件;
            user/nouser:是否允许普通用户挂载此文件系统;
            auto/noauto:设备是否支持-a选项来实现自动挂载;
            suid/nosuid:是否允许suid和sgid特殊权限的程序生效;
 
            defaults默认:
                Use default options: rw, suid, dev, exec, auto, nouser, async, and relatime.
 
一个使用技巧:
    可以实现将目录绑定至另一个目录上,作为其临时访问入口;
        mount --bind 源目录 目标目录
 
查看当前系统所有已挂载的设备;
    mount
    cat /etc/mtab
    cat /proc/mounts
挂载光盘:
    mount -r /dev/cdrom mount_point
    光盘设备文件: /dev/cdrom, /dev/dvd
挂载U盘:
    事先识别U盘的设备文件;
挂载本地的回环设备:
    mount -o loop /PATH/TO/SOME_LOOP_FILE mount_point
    umount1
    umount device |dir
 
umount命令:
    umount device|dir
     
    注意:正在被进程访问到的挂载点无法被卸载;
        umount: /: device is busy.
        (In some cases useful info about processes that use the device is found by lsof(8) or fuser(1))
      
查看被哪个或那些进程所占用;
    lsof MOUNT_POINT
    fuser -v MOUNT_POINT
终止所有正在访问某挂载点的进程;
    fuser -km mount_point
交换分区的启用和禁用:创建用mkswap [-c] [-f] [-p PSZ] [-L label] [-U uuid] device [size]
 
    启用:swapon
        swapon [option][DEVICE]
            -a:定义在/etc/fstab文件这的所有swap设备;
    禁用:swapoff
        swapoff DEVICE
 
 
设定除根文件系统以外的其他文件系统能够开机时自动挂载:/ect/fstab文件
    每行定义一个要挂载的文件系统及相关属性(vim /etc/fstab );
    [root@centos6_7 ~]# cat /etc/fstab
 
    #
    # /etc/fstab
    # Created by anaconda on Sun Aug 12 17:26:53 2018
    #
    # Accessible filesystems, by reference, are maintained under '/dev/disk'
    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
    #
    UUID=c9b74b1a-41cd-4260-9444-6245ab833dd9 /                       ext4    defaults        1 1
    UUID=8880df83-5bf8-40db-bf6f-bf878b7a7e2e /boot                   ext4    defaults        1 2
    UUID=3144b92b-c079-4239-9a91-84111d2f1ac1 swap                    swap    defaults        0 0
    tmpfs                   /dev/shm                tmpfs   defaults        0 0
    devpts                  /dev/pts                devpts  gid=5,mode=620  0 0
    sysfs                   /sys                    sysfs   defaults        0 0
    proc                    /proc                   proc    defaults        0 0
 
    6个字段:
        (1)要挂载的设备:
            设备文件:
            LABEL
            UUID     
            伪文件系统:如 sysfs, proc ,tmpfs等
        (2)挂载点
            swap类型的设备的挂载点为swap;
        (3)文件系统类型
        (4)挂载选项
            defaults :使用默认挂载选项;
            如果要同时指明读个挂载点选项,彼此间以事情分隔;
            defsults, acl , noatime ,noexec
        (5)转储频率:
            0:从不备份
            1:每天备份
            2:每隔一天备份
        (6)自检次序
            0:从不自检
            1:首先自检,通常只能是根文件系统可用;
            2:次级自检
            ...
        mount -a 可自动挂载定义在此文件中的所支持自动挂载的设备(vim /etc/fstab );
 
df和du命令:
    df [option]....file..   显示文件系统利用率report file system disk space usage
        -l:仅显示本地文件的相关信息blocks;
        -h:显示容易识别信息状态;
        -i:显示inode的使用状态而非blocks;
    du [option]....file..   显示文件真实大小estimate file space usage
        -s :sumay整体显示
        -h :human -readable
 
练习:
    1.创建一个10G的分区,并格式化为ext4文件系统;
        #fdisk /dev/sda?
        ...
        # partx -a /dev/sdb
        #mkfs.ext4 /dev/sda?
        (1)block大小为2048;预留空间2%,卷标为mydata;
        (2)挂载至/mydata目录,要求挂载时禁止程序自动运行,且不更新文件的访问时间戳;
        (3)可开机自动挂载;
        #mke2fs -L 'mydata' -m 2 -b 2048 /dev/sda?
        #mkdir /mydata
        #mount -o noatime,noexec /dev/sda? /mytdata
        #vim /etc/fstab  //  >> /dev/sda? /mydata defaults 0 0
        #mount -a
    2.创建一个大小为1G的swap分区,并启用;
        # fdisk /dev/sda?
        ...
        # partx -a /dev/sda?
        # mkswap /dev/sda? 1G
        # swapon -a /dev/sda?
 
总结:文件系统管理
    管理工具:mkfs,mke2fs,e2label,tune2fs,dumpe2fs,e2fsck,blkid
        mkfs.xfs,mkfs.vfat,fsck
        mkswap,swapon,swapoff
        mount,umonut
        df,du
    fstab文件:
        设备 挂载点 文件系统类型 挂载选项 转储频率 自动次序
    文件系统:
        目录:文件
            元数据:inode
            数据:data blocks
        文件名:上级目录;
        删除文件:将此文件指向的所有data block标记为未使用状态;将此文件的inode标记为未使用;
        复制和移动文件:
            复制:新建文件;
            移动:
                在一个文件系统:仅改变其路径;
                在不同文件系统:复制数据至目标文件,并删除原文件;
        符号/软链接:
            权限:lrwxrwxrwx
        硬链接:指向同一个inode;
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-07-08 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云 HDFS
云 HDFS(Cloud HDFS,CHDFS)为您提供标准 HDFS 访问协议,您无需更改现有代码,即可使用高可用、高可靠、多维度安全、分层命名空间的分布式文件系统。 只需几分钟,您就可以在云端创建和挂载 CHDFS,来实现您大数据存储需求。随着业务需求的变化,您可以实时扩展或缩减存储资源,CHDFS 存储空间无上限,满足您海量大数据存储与分析业务需求。此外,通过 CHDFS,您可以实现计算与存储分离,极大发挥计算资源灵活性,同时实现存储数据永久保存,降低您大数据分析资源成本。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档