背景:扩容磁盘,随着业务增加不断扩容磁盘,后来发现扩容超过16T就报错,报的错莫名其妙。我在想,我是单机,不是群集啊,咋回事?
网络 rz # 通过ssh上传小文件 sz # 通过ssh下载小文件 ifconfig eth0 down # 禁用网卡 ifconfig e
NTFS分区有2T大小的MBR和GPT分水岭,同时NTFS的默认块大小4096还有个分区最大16T的分水岭,腾讯云单个云盘最大32000GB,块大小4096的话,超过16T的部分无法使用,因此在最初初始化一块新盘时就该一劳永逸解决问题,即分区时把块大小设置为8192即可规避最大16T的限制(8192的块大小下,最大分区是32T=32*1024>32*1000,是涵盖了32000GB的)。
前段时间和一个师兄聊天反馈一个问题:在一个大分区(24T)中使用xfs文件系统,用来做历史文件备份,突然提示没有磁盘空间错误! 先检查下: [[email protected] ~]# df -hT Filesystem Type Size Used Avail Use% Mounted on /dev/sdb1 xfs 19T 16T 2.4T 88% /backup [[email protected] ~]# df -hi Filesystem
在大文件系统下, 单一inode表将会变得非常臃肿, 难以管理, 因此 ext2采用多个区块群组(group block), 每个区块群组均具有其 superblock, inode, block
目前 CPU 的处理性能越来越强,目前单颗 CPU 已经可以达到 128 线程。CPu 高速计算,内存也有着较高的读写速度,但与此同时,硬盘设备的性能提升却不是很大,逐渐成为计算机整体性能的瓶颈。并且生物数据往往都比较大,动辄就达到数 Tb 的数据。由于硬盘设备需要进行持续、频繁、大量的 IO 操作,相较于其他设备,其损坏机率也大幅增加,导致重要数据丢失的机率也随之增加。因此,服务器的磁盘配置非常重要。
使用fdisk工具分区(当硬盘小于等于2T时,用fdisk,大于2T时,用parted) 键入:fdisk /dev/vdb出现欢迎信息 然后键入n新建分区
在生产环境中,我们会遇到分区大于2T的磁盘(比如:添加一个3TB的存储),由于MBR分区表只支持2T磁盘,所以大于2T的磁盘必须使用GPT分区表
硬盘设备是由大量的扇区组成,每个扇区容量512字节,第一扇区最为重要,保存主引导记录和分区表信息。分别是主引导记录占用446,分区表占用64字节,结束符2字节,其中分区表中每记录一个信息占用16字节,最多只有四个分区,为了解决分区数不够,衍生出扩展分区。扩展分区可以用来创建逻辑分区,逻辑分区最多128个。
Linux最传统的磁盘文件系统(filesystem)使用的是EXT4格式,所以要了解文件系统就得要由认识EXT4开始,而文件系统是创建在硬盘上面的,因此我们得了解硬盘的物理组成才行,下面我们回来详细谈一谈磁盘,inode,block还有superblock等文件系统,的理论知识.
工作原理: 当因为主机HBA卡、线缆、交换机或者存储设备的RAID控制器故障等原因造成一条物理路径失效时,服务器可以将通过此物理路径的I/O转移到其他正常的物理路径上面,应用程序不会觉察到这种改变,从而提高系统的可用性。
表格里是我收集的AMD和Intel各个主流的CPU参数、跑分和价格对比。 表中跑分数据来自:https://www.cpubenchmark.net/ 价格来自淘宝的散片价格,部分搜不到散片的是盒装价
简单来说就是多个盘片之间靠主轴连接,电机带动主轴做旋转运动,通过多个磁头臂的摇摆和磁盘的旋转,磁头就可以在磁盘旋转的过程中就读取到磁盘中存储的各种数据。
联系机房进行磁盘扩容,得知有两种方式:原盘扩容和单加硬盘 方案选择了原盘扩容:在原有基础上再添加1T空间
系统环境:Centos6.7 x86_64 己updte 磁盘:12*4T raid5 +hot 说明:操作系统与归档都使用同一个raid5 应用环境:邮局系统【文件大小从1K到100K不等,除附件】 一、查看分区 【fdisk -l】 [root@localhost sysadmin]# fdisk -l WARNING: GPT (GUID Partition Table) detected on '/dev/sda'! The util fdisk doesn't support GPT. Use G
将网站文件,数据库等信息放在数据盘中,万一需要重装系统时,数据还在。就像我们的电脑,把资料放在D盘,重装C盘后资料还在一样。安全又方便。
在需要对一个4T的硬盘分区时,使用fdisk不能建立分区。原因是fdisk只能建立2TB大小的分区。如果大于2T需要采用GPT磁盘模式。下面介绍下MBR和GPT原理。
磁盘和文件系统的管理是运维人员的重要工作内容之一,本文对磁盘和文件系统的一些概念做了详细解释,管理命令给出了常用示例,方便自己在工作时随时查阅,也欢迎各位一同学习。
磁盘的分区主要分为基本分区(primary partion)和扩充分区(extension partion)两种,基本分区和扩充分区的数目之和不能大于四个。且基本分区可以马上被使用但不能再分区。扩充分区必须再进行分区后才能使用,也就是说它必须还要进行二次分区。那么由扩充分区再分下去的是什么呢?它就是逻辑分区(logical partion),况且逻辑分区没有数量上限制。
Linux操作系统:CentOS Linux release 7.6.1810 (Core)
注意:inode号是磁盘格式化的时候就自动按一定的比例4k:1分配好了,当创建一个文件是就会拿一个inode给这个文件使用。inode里面存的是文件的相关属性比如大小,权限,属组和存在磁盘的位置,如果创建文件提示空间不够,但是df查看磁盘空间的时候,发现还有空间,但是就是创建不了,这个时候就应该是inode被占满了,可以通过删除文件来回收inode
假如你有个大木桶要装东西,如果木桶没有划分层,所有东西全部放入里面,虽然可以装,但是对大木桶的使用就合不合理,造成杂乱无章,寻找东西时候也耗时,甚至还有不同物品之间不能存放在一起而导致危险,那更好的做法自然是给大木桶画一下不同的区域,分成不同的层,每个层放不同的东西,即安全,寻找起来也方便;
使用df或者ls命令查看Linux系统的磁盘设备,下图的sdb1就是我接入Ubuntu的一个SD卡,sda是系统硬盘(虚拟机的虚拟磁盘)。
原文https://ecloud.10086.cn/op-help-center/show/F230B8AC46DA76B8
搜索文件 逻辑搜索----建立一张表,可能数据不是最新(搜索方式比较单一,这里不能用文件长度和文件所有者来搜索,必须先建立索引) 物理搜索----很慢,但只要在,肯定能找到 数据平均放在磁盘上,为了防止某个扇区使用频繁,所有搜索时磁片不停的转 updatedb----创建一个索引 locate keyword 这个还支持正则表达式,但是一定要先创建索引 file=1 inode+N blocks inode:存放文件 元数据 元数据:文件名,长度,权限,所有者,INODE编号,BLOCK指针。。。 可以按照各种元素搜索 block:文件体,真正的数据 file=>数据文件,程序文件,目录文件,链接文件,管道文件,设备文件,内存文件 一个文件必然占一个INODE节点,不一定占BLOCK find -name snow.png find -iname snow.png 忽略大小写 find -user joe -group joe find -user u1 find -group g1 and or ! user u1 and group g1 两个都要成立 user u1 or group g1 -o find -perm 755 +至少有这么多权限,是根据每个数字比的 find -siza 1M 1K +同样是不小于的意思,-是不大于的意思,不包括自己 find -atime 最后时间修改的文件 find -ctime 10 最近10天修改的文件 find -size +1024K -ok gzip {} \;搜到的压缩 gunzip 解压缩* ok会询问你yes或者no,如果不想询问那么就用exec find -exec cp {} ../bb/{}.bak\; `.'这个提示是ls -a 隐藏文件里蓝色的. .. 不能进行操作 /var/lib/mlocate/mlocate.db这个文件里面放索引 var下删除任何一个文件都是很危险的,也不能往里面塞垃圾 apache-----------------firefox wget /var/www/html/index.html postfix dvecot smb ftp dns dhcp sendmail ssh nis nfs ntpd telnet ---------------------------------client tools netscape---------->Mozzila/firefox links http://.... wget http://...把指定的页面给抓下来,就是保存页面 wget ftp://..../pub/getme evolution 和outlooks hotmail一样 kmail thunderbird 上面三个都是邮件客户端,图形化界面 mutt 和mail有点像,有点严,带加密 mail mail -s "OKOK" u@163.com 内容 -vs把发邮件的过程写出来 mail 读取 26 telnet 192.168.0.254 25 mail from: rcpt T0: rcpt T0: data telnet 192.168.0.254 110 retr 1 pidgin(MSN,QQ,ICQ,YAHOO,XXXXX) AS---- WS(pidgin) fedoracore 可以和windows QQ,msn对联 scp 服务器copy winscp 在windows上传文件很方便,临时传文件 rsync 和winscp一样 只复制差异量,就是增量,第二次传会变快 lftp 带颜色,带热键,带命令补全,还能自适应 gftp 图形化ftp clinet get index.html 上传是put binary 既可以下载二进制,也能下载文本 ascii 切回ascii模式,文本用ascii模式,文档,程序要用二进制模式,binary smbclient windows网络共享 SMB客户端 unix/linux(client) ----sbm -----windows smbclient -L 192.168.0.252 mount -t cifs //192.168.0.254/smb /mnt -o username=
1)磁盘0-7组成一个raidgroup0;在raidgroup0上又划分了lun0-1
Linux kernel 自 2.6.28 开始正式支持新的文件系统 Ext4。 Ext4 是 Ext3 的改进版,修改了 Ext3 中部分重要的数据结构,而不仅仅像 Ext3 对 Ext2 那样,只是增加了一个日志功能而已。Ext4 可以提供更佳的性能和可靠性,还有更为丰富的功能:
所有有系统都一样,都是一种软件被安装于某个硬件之上,这个硬件无外非是一种存储设备,通常操作系统都是安装磁盘中,所以Linux系统也一样,都是安装在磁盘当中,但是它不同与windows系统的安装,因为Linux都是需要创建文件系统的才可以使用,今天我们变来介绍下最基础的知识——磁盘
当我们拿到一块新的硬盘时,他所能够支持的最大空间只是代表硬件上的一个参数,我们要想让他能够正常的工作起来,必须要有相应的文件系统。文件系统决定了文件存储和管理时的方式和数据结构,也就是如何管理磁盘上的文件和文件夹。不同的文件系统拥有不同的特点,这也就是为什么我们在进行格式化操作必须要选定一种文件系统的原因。 当在一个操作系统(Windows、Linux、MacOS)中使用文件系统时,通常都会做一个统一的接口,来进行文件的读写,所以会存在某些文件系统只适用与某一种操作系统的情况。
GC信息记录在指针上,不是记录在头部(如Serial收集器记录在markword) 这样只和指针打交道而不管指针所引用的对象本身,这样可以不用关心对象改变和引用。 记录指针好处:immediate memory use,内存立即就可以重用。zgc和G1一样,region们会被及时的清理和压缩和转移,可以让内存的复用更加的及时。
Chapter12 Mass-storage Structure disk scheduling algorithms FCFS SSTF 通用,效率一般 SCAN 电梯算法 C-SCAN 走到头会迅速折回 LOOK SCAN和C-SCAN适合磁盘负载重时 low-level formatting 见名词解释 RAID Structure 可用空间16T,使用4T的硬盘,各种RAID级别需要用几个 RAID级别 需要用的硬盘数 0 4 1 8 2 7 3 5 4 5 5 5 其中RAI
当我们拿到一块新的硬盘时,他所能够支持的最大空间只是代表硬件上的一个参数,我们要想让他能够正常的工作起来,必须要有相应的文件系统。文件系统决定了文件存储和管理时的方式和数据结构,也就是如何管理磁盘上的文件和文件夹。不同的文件系统拥有不同的特点,这也就是为什么我们在进行格式化操作必须要选定一种文件系统的原因。当在一个操作系统(Windows、Linux、MacOS)中使用文件系统时,通常都会做一个统一的接口,来进行文件的读写,所以会存在某些文件系统只适用与某一种操作系统的情况。
将磁盘划分为若干个区块操作为磁盘分区,在各个操作系统中都有类似的内容,分区会为硬盘管理带来一些好处:
购买cvm时一并加购的数据盘勾选初始化实际就是调用的userdata实现的,现在有些情况勾选了,但数据盘初始化完成不了,我系统分析了下,其中一个原因就是userdata所用的powershell代码里有中文。
操作系统中,用来管理和存储文件信息的软件机构称为文件管理系统,简称文件系统。具体来说,这部分系统就是负责为用户建立、读取、修改和转储文件,控制文件的存取,当用户不再使用时撤销文件等。
该文章介绍了如何在不使用挂载的情况下,将硬盘分区格式化为ext4文件系统。同时,文章也探讨了如何将硬盘挂载到Linux系统中,并总结了一些常见的问题和解决方法。
1、查看硬盘分区情况和各分区挂载情况 fdisk -l df -h 📷 2、将未分区空间进行分区 # 磁盘命令操作: # a toggle a bootable flag # b edit bsd disklabel # c toggle the dos compatibility flag # d delete a partition # g create a new empty GPT partition table # G create an IRIX (SGI) partit
案例需求: 添加一块硬盘,需要将其分区,最终需要使用2G空间。 案例思路 增加一块硬盘 使用fdisk命令进行分区 格式化指定分区 创建一个空的目录作为挂载点 挂载使用 创建新的挂载点 挂载使用 步骤: 1. 增加硬盘 增加完硬盘记得重启系统 # lsblk 查看硬盘是否添加成功 ... sdb 8:16 0 20G 0 disk [root@zutuanxue ~]# fdisk -l /dev/sdb Disk /dev/sdb:20 GiB,21474836480 字节
互联网上搜索到的 Linux 环境新磁盘配置方法资料质量都不尽如人意,因此自己整理了一份,日常 Linux 磁盘分区时查阅足够了,主要是用到了 fdisk 命令。
linux基本命令 预习内容 1.磁盘管理命令 df 1.1 查看磁盘使用情况 df -h 1.2 查看swap使用情况 1.3 查看磁盘inode使用情况 df -i 1.4 磁盘使用情况用M显示 df -m 2.查看目录文件大小 du -sh 3.磁盘分区、格式化、挂载 3.1 虚拟机添加一块10g的磁盘,添加完成重启虚拟机 3.2 磁盘划分分区 fdisk 3.3 磁盘格式化 3.3.1 mke2fs -t ext4 -b 2048 /dev/sdb1 3.3.2 mkfs.ext4 /dev
Zabbix 作为一个老牌的开源监控方案,长期被用于生产实践。但是原生方案一般会采用 MySQL 作为后端存储,无法应对更大规模的监控。TiDB 兼容 MySQL 协议,可以替换 MySQL 从而增强 Zabbix 的大规模监控能力,实现新的监控方案 TiZabbix。TiZabbix 通过优化监控实施逻辑,弥补因 TiDB 和 MySQL 差异造成的诸多问题,成功完成了 10000+ 监控对象和 16T 数据存储查询的实践。
通常在制作云上使用的虚拟机时,如果不进行任何干预,安装出来的虚拟机默认是带有swap分区的,同时采用lvm来管理磁盘,通过这种方式制作出来的虚拟机镜像,直接在云上使用会有很多问题,其中一个就是根分区无法实现自动扩容,只能通过手工操作完成。而且在openstack中,swap分区通常是由一个单独的swap磁盘来提供,而不应该是做镜像的时候提供。
本文描述如何用一个新的数据盘创建一个单分区数据盘并挂载文件系统。本文仅适用于使用 fdisk 命令对一个不大于 2 TB 的数据盘执行分区操作。如果需要分区的数据盘大于 2 TB,请参考 32TB 块存储分区。
本文的内容可能和之前的金融企业将 TiDB 应用在业务上的实践不同,下面主要介绍我们如何把 TiDB 应用在金融行业的后台运维监控上。Zabbix 作为一个老牌的开源监控方案,长期被用于生产实践。但是原生方案一般会采用 MySQL 作为后端存储,无法应对更大规模的监控。TiDB 兼容 MySQL 协议,可以替换 MySQL 从而增强 Zabbix 的大规模监控能力,实现新的监控方案 TiZabbix。TiZabbix 通过优化监控实施逻辑,弥补因 TiDB 和 MySQL 差异造成的诸多问题,成功完成了 10000+ 监控对象和 16T 数据存储查询的实践。
4.5/4.6 磁盘格式化 windows和Linux系统格式 在分区后,磁盘需要格式化 Windows中,有NTFS、fat格式,其中fat格式基本已经不用(过时) Linux中,centos7支持xfs、ext4、ext3、ext2、nodev proc、nodev devpts、iso9660、vfat、hfs、hfsplus [root@localhost ~]# cat /etc/filesystems //查看centos7所支持的系统格式 xfs //系统默认的支持的格
此教程适用于大部分Linux系统,比如Centos、Ubuntu、Debian、Redhat、Deepin等。
本文链接:https://lisz.me/tech/linux/linux-lvm.html
文件系统是操作系统用于明确磁盘或分区上的文件的方法和数据结构,即在磁盘上组织文件的方法
领取专属 10元无门槛券
手把手带您无忧上云