第十二章 磁盘阵列 raid

第十二章 磁盘阵列 raid

12.1 raid技术简介

当一台服务器需要较大存储空间时,由于单块磁盘的空间容量相对较小,那么则需要连接多块磁盘。但是我们知道,一般计算机上的磁盘接口只有2-4块,服务器的磁盘接口可能有4-8块,不管怎样,接口数总是较少的。当需要连接更多磁盘时,则需要外界设备的辅助,磁盘阵列就是最常用的外界设备之一。

磁盘阵列(RedundantArrays of Independent Drives,RAID),简称盘阵。它就像一个电路板一样,上面有很多的磁盘接口,可连接多块磁盘。一般家庭或小型机房环境会使用到raid卡,一般会有4盘位、6盘位、12盘位等规格,操作简单,功能有限,也被称为raid卡。。但在正规的数据中心机房中,一般使用的磁盘阵列设备类似于一台主机,里面有自己的操作系统,可以设置很多的磁盘组合方案(即不同的raid级别),这种磁盘阵列很多都是由全球较大企业自主研发研发出,如:IBM、HP、EMC、华为、联想等。

由于生产环境中对数据的读写性能、稳定性、安全性有较高的要求,所以,可以借助于盘阵上的多块磁盘,按照特定的数据存储方案,组织、划分分区,以实现数据自动备份、数据恢复、性能提升等功能。下面我们就介绍一下常用的一些raid方式,即raid级别。

12.2 raid技术

12.2.1 raid0

raid0技术是指将多块磁盘组成一个组合,至少2块,多则几十块,生产环境一般使用在2-3块左右。raid0将在每块磁盘上占用相同的空间大小,那么raid0的总容量就是多块磁盘所占空间的总和。如2块磁盘,每块占用10G,则raid0总大小20G。

在存储文件时,raid0将文件平均存储到多块磁盘的,如:2块磁盘的raid0,存放100M的文件,则每块磁盘存放50m数据;3块磁盘的raid0存放90M数据,每块磁盘存放30M数据,以此类推。并且,当存储时,由于磁盘是相互独立的,则存入工作是多块磁盘同时进行的,即并行存入,读取时亦是如此。

由此可见,raid0技术可以很好的提升数据的读写速度,大约n块提升n倍。而且磁盘越多,速度提升越快,但由于raid0不具备数据备份功能,因此,当磁盘较多时,故障率也会随之提高,存在安全风险。所以,一般raid0中只使用2-3块磁盘为佳。

再深入的介绍下raid0的存储原理:以两块磁盘为例,平均存储文件时,它并不是把文件的前一半内容存入一块磁盘,后一半内容存入另一块磁盘的。raid0是将磁盘空间分成n多的小存储区域,称为区块,可手动指定区块大小,一般在64k-256k之间,存储时是第一块盘的第一个区块存满,转去存第二块盘的第一个区块,写满,再去存第一块盘的第二个区块,一次类推,所以raid0存储文件时会被分的很细、很碎。如下图:

raid0又被称为条带化(Linux、unix)、带区卷(windows)

12.2.2 raid1

raid1又称镜像分区、镜像卷。顾名思义,它也是使用多块磁盘,且每块磁盘占用相同空间大小。这多块磁盘间互为镜像关系,即备份。一般raid1会使用2-3块磁盘工作,文件存入一块磁盘时,其他磁盘也将文件全部再存一份,即所有操作都会在每块磁盘上完整操作一次。如:两块磁盘的raid1会把文件存储2份,三块磁盘的raid1会把文件存储3份。

这样raid1可以保证数据的安全性,若出现故障磁盘,其他磁盘上也会有完整的数据,不至于数据丢失。但raid1牺牲的是存储空间,即同一文件要占据两份空间的,所以会有空间的浪费,我们称之为磁盘冗余。如:一个2块磁盘的raid1,每块磁盘占用10G空间,总占用量是20G,但实际可用空间只有10G,磁盘冗余度是50%,若是三块磁盘的raid1,冗余度更高。

每块磁盘上的一份数据我们称为一份copy,如:三块磁盘组成raid1,即称数据有三个copy。当改变数据时,多块磁盘一起改变,以保证数据的一致性,称为数据同步。但raid1在性能上却没有读写速度的提升。

12.2.3 raid5

由于raid1的冗余度较高,为了能够在保证数据安全的前提下减少浪费,研发、推出了raid5技术。raid5要求至少由3块磁盘组成,且占用空间一致,采用多存一备的机制保证数据安全,并减少冗余。具体原理如下:

三块磁盘加入raid5分区,每块磁盘以64KB为单位被划分成n多的块区,存储数据时先存满两块磁盘的各64K,另一块磁盘不存数据,是将另两块盘的数据采用奇偶校验算法计算后,将结果存入第三块磁盘的64KB。并且,raid5上的磁盘采用轮流做备份区块的方式操作。奇偶校验是一种比较复杂的验证、校验算法,但对我们以后在Linux方面工作的帮助不大,所以,在此我们不做扩展介绍。为了帮助大家理解,我们以加法为例介绍具体过程,如下图:

如图,raid5在存放数据时,先把第一块磁盘的第一个64KB的块区存满,再去存第二块磁盘的第一个块区,然后将前两块磁盘的数据用算法做计算,假设是加法,则结果3存入第三块磁盘。同理,之后,再在第1、3块磁盘上存数据,第二块磁盘存备份,然后在第2、3块磁盘存数据,第1块磁盘存备份,依此类推。

这样数据将被分别存放在多块磁盘上,当有一块磁盘故障时,更换新的磁盘,通过算法的逆运算(图例中逆运算即是减法)就能够恢复回丢失的数据。而且,空间冗余度只有1/3。若raid5中有4块磁盘则,三存一备,冗余度会是1/4。可见,raid5中磁盘越多,冗余度月底。但是raid5也有缺点,它不支持同时两块或以上故障盘的数据修复。所以,raid5分区不建议有太多磁盘,3-5块即可。

12.2.4 raid技术总结

综上,我们来对三种raid技术做下比较:

1)raid0

特性:占用两块以上的磁盘,多块磁盘占用的空间必须一样大,存储文件时,是把文件平均存储到各个磁盘的,且各个磁盘同时做读写操作。

优点:读写性能有提升。

缺点:不具备数据备份、恢复功能,若有一块故障盘,则分区失效,数据丢失

2)raid1

特性:要占用2块以上的磁盘,一般3、4块即可,多块磁盘占用的空间必须一样大,存储文件时,各个磁盘都把文件完整的存一份,等同于做了多次复制。

优点:磁盘间互为备份,若有故障盘,可做数据恢复

缺点:浪费磁盘空间。冗余度高。

3)raid5

原理:占用至少3块磁盘,每盘磁盘空间都会按照64KB为单位划分成n多存储区域,以3块磁盘为例:前两块存满64KB数据,第三块使用前两块的数据,按照特定的奇偶校验算法,计算出结果当做备份并存入3块磁盘轮流存数据,轮流做备份。磁盘冗余度:1/n

优点:支持备份、恢复,冗余度低

缺点:不支持2块或更多的磁盘故障,一般建议磁盘数3-5块

另外,其实raid技术还有很多其他级别,如:raid2、raid3、raid4等,最高可达raid9,但是由于其他raid技术在实现时较为复杂,所以当前使用最多的只是raid0、raid1、raid5三种。

12.3 raid复用

从上节可知,每种raid技术都有各自的特点与缺点,如果我们想既可以提高读写速度,又想能够保证数据安全,该怎们做呢?这就可以使用raid复用技术来实现。

12.3.1 raid0+1

raid0+1 又称raid01。是将多块磁盘分为两组,组内采用raid0机制,组之间采用raid1机制。如图:

如图,当我们要存入一个100MB文件时,先按raid1存入,即两侧各存入100MB,然后每组内使用raid0,即组内的两块磁盘各存50MB。这样我们可以分析得到,100MB的文件,实际存入磁盘时只需要使用存50MB的时间,提升了速度,同时还具备数据备份功能。

当有一块磁盘故障时,可能一侧的数据丢失了,但另一侧的数据是完整的。即便一侧故障多块磁盘,另一侧也不受影响。但是,raid01不能解决两侧同时有故障盘的情况。

12.3.2 raid1+0

raid0+1又称raid01。是将多块磁盘分为两组,组内采用raid1机制,组之间采用raid0机制。如图:

图中,假设要存入100MB的文件,先按raid0,两侧各分50MB,然后每组内使用raid1,每块磁盘存放50MB数据。所以,100MB的文件存储到磁盘上,只需要50MB的存储时间,并且具备数据备份功能。如果出现一块故障磁盘,同侧的磁盘上即有备份。如果两侧各坏一块磁盘,都可以通过备份恢复数据。但是,如果同一侧故障两块磁盘,则丢失了一半的数据,不可恢复。

相比较于raid0+1,虽然故障磁盘出现的概率是不可控的,但其实在生产环境中,我们使用raid0+1的概率是更高些的,这是因为除了磁盘会有故障,还有盘阵、连接盘阵的线路等也可能出现异常,那么能够解决单侧多盘故障的方案就会更为实用些。

12.3.3 raid5+1

之前我们看了raid0+1、raid1+0的复用,这两种模式的数据稳定性还是存在很大风险的,当在对数据安全要求比较高的项目中,我们需要使用安全性、稳定性更高的复用模式,这时使用raid5就是备选方案之一。

如图,两组磁盘内部使用raid5,两组之间使用raid1,这种组合,虽然对数据的读写速度没有太大提升,但是在数据修复方面却具有较强的健壮性。

我们可以分析得到,一侧内坏一块盘时,可以通过同组内的另外两块盘把数据恢复回来,若一侧内故障两块磁盘,则这一侧的数据丢失了,但另一侧的数据是完整的。再多坏一块磁盘,就算是在另一侧内的也是可以恢复数据的,所以raid5+1可以解决任意50%的故障率。而且只要不是两侧各故障两块磁盘以上,即一边坏3块,一边坏1块,也是可以恢复的。

但是,raid5+1的缺点也是很明显的,分析可知,6块磁盘的环境下,真正有效存储的磁盘只有2块,冗余度有2/3之高。所以这种方案只在对数据稳定性要求较高的项目中使用。

12.3.4 raid复用技术小结

1) raid0+1 ---raid01

原理:两组磁盘,每组内部使用raid0,两组之间使用raid1,数据存储时,先按raid1两组都存完整的一份,组内raid0平均存。

特性:有速度提升,且支持备份、恢复

缺点:无法解决两组内各坏一块盘,可解决单侧坏多盘

2) raid1+0 ---raid10

原理:两组磁盘,每组内部使用raid1,两组之间使用raid0,数据存储时,先按raid0两组平均存,再组内各盘存完整的一份

特性:有速度提升,且支持备份、恢复

缺点:无法解决一组内坏两块盘,可解决两侧各坏一块盘

3) raid5+1 ---raid51

原理:两组磁盘,每组内部使用raid5,两组之间使用raid1,数据存储时,先按raid1两组都存完整的一份,组内raid5存储

优点:健壮性强,可解决50%的故障率

缺点:没有读写速度的优化,冗余度高

12.4 Linux中实现raid技术

上几节我们介绍了raid技术的基本概念,在实际生产环境中,一般都是用在物理盘阵上使用多块磁盘组成各种raid分区,这种raid我们称为硬raid,而且,在实际的项目中,也会有专职的磁盘管理人员负责盘阵的日常运维,项目中称为存储岗。而下面我们要在Linux中做的实验,是通过Linux中的软件工具实现的,即软raid。所以这个实验更多是为了让大家理解raid的思路与功能。

12.4.1 Linux中创建raid1分区

首先要在Linux制作raid分区,需要先安装raid的管理包,mdadm,Linux安装光盘上即有,可直接使用

yum -y install mdadm

然后,我们按一下步骤逐步操作:

1、创建分区

fdisk /dev/sda

新建三个分区:sda7 600M sda8 800M sda9 1000M

都设定文件系统类型为 fd Linux raid

注:本实验中,我们使用三个分区为raid提供存储空间,实际生产环境正更常使用整块磁盘做raid,如:sdb sdcsdd等

2、创建raid1分区

mdadm -C /dev/md0 -a yes -l 1 -n 2 -x 1 /dev/sda7 /dev/sda8 /dev/sda9 ---创建raid1分区

参数介绍:-C 创建新分区 raid分区名必须叫 /dev/mdX X表示是第几个的编号 -a yes 自动创建设备,-l 设定raid等级,-n 指定raid中的可用设备数,即使用几块磁盘组件raid ,-x 指定热备盘数。

热备盘:即多准备的一块备用盘,出现故障后,会自动使用热备盘做恢复、修复,无需等待人为发现故障后再手动解决,缩短了故障的解决反应时间。

注:命令执行后会提示说由于三个分区空间不一致,所以会按照最小空间的磁盘,即sda7的大小创建raid1,则sda9上会有浪费,询问是否继续?输入y,确认继续创建即可

mdadm -D /dev/md0 ---查看raid分区详细信息

可查看到,sda7、sda8为活动的镜像盘active sync,sda9为热备盘sqare

cat /proc/mdstat ---查看本机所有raid分区状态

3、制作文件系统,挂载

mkfs -t ext4 /dev/md0

mkdir /mnt/d1

mount /dev/md0 /mnt/d1

4、撤销、清除raid分区

mdadm -S /dev/md0 ---关闭、清除raid分区。

注:关闭会直接删除分区文件/dev/md0

12.4.2 制作配置文件

与之前的很多实验类似,手动创建的raid分区,重启后也会失效、丢失,所以需要写入配置文件中。过程如下:

mdadm -C /dev/md0 -a yes -l 1 -n 2 -x 1 /dev/sda7 /dev/sda8 /dev/sda9

mdadm -Ds >> /etc/mdadm.conf ---创建mdadm的配置文件

注:mdadm -Ds --- 扫描当前raid信息,-s表示扫描

vi /etc/mdadm.conf

开头写入:device /dev/sda7 /dev/sda8 /dev/sda9

功能:指定创建raid分区的磁盘或源分区

下面来验证一下:

mdadm -S /dev/md0 ---删除raid

mdadm -As /dev/md0 ---重建回md0

注:-s 表示从/etc/mdadm.conf文件中找到md0,-A表示启动

vi /etc/fstab ---设置开机自动挂载

/dev/md0 /mnt/d1 ext4 defaults 1 2

若没有创建mdadm配置文件,raid分区删除后,我们可以使用如下命令手动重建:

mdadm -A /dev/md0 /dev/sd[789]

12.4.3 故障盘处理

当raid中出现故障盘磁,若该磁盘彻底故障不可读写,则raid会自动发现并启用热备盘,自动从正常可用的盘上把数据复制到热备盘,热备盘即变成镜像盘

但是如果是读写变慢,有故障风险的磁盘,在磁盘并未彻底故障前,raid仍会视该盘为可用盘,此时需要人为标记为故障盘,让raid启用热备盘。实验模拟如下:

mdadm /dev/md0 -f /dev/sda8 --- -f强制设定故障磁盘,即标记故障盘

mdadm -D /dev/md0 ---可查看到故障盘位fault状态,并热备盘启用

mdadm /dev/md0 -r /dev/sda8 ---把故障盘从raid中删除

mdadm /dev/md0 -a /dev/sda10 ---加入新盘,作为热备盘使用

mdadm -D /dev/md0 ---可查看到新加入的盘作为热备盘

12.4.4 设定raid监控报警

我们可以使用raid内的监控程序,当raid发生故障时,给用户发送邮件做通知,命令如下:

mdadm --monitor --mail=root@localhost --delay=30 /dev/md0 &

注:设定后台运行监控程序,回车后可见进程ID,用jobs命令可查看到后台进程。

参数解释:--monitor 启动监控进程 --mail 指定出现故障后给谁发邮件

--delay 指定检测raid分区的时间间隔,单位:秒

下面我们可以模拟发生磁盘故障后被检测到,然后查看邮箱:

mdadm /dev/md0 -f /dev/sda7

mail ---查看邮箱,可见报警邮件,前提:当前是以root登录的。

若想关闭后台监控进程,则需使用下面的命令:

kill -9 进程ID ---杀死后台的监控进程

12.5 给LV配置raid

其实,我们的LVM管理,就支持制作raid功能的LV,具体如下:

12.5.1 制作raid0功能的LV

因为raid0的工作原理是给磁盘划分区块后,多块磁盘轮流存入数据,所以对现有的已经制作好文件系统的LV,无法升级为raid0级LV,所以只能在创建LV时设定为raid0状态。过程如下:

1、创建VG

首先:清空raid后,重建sda[789]三个分区,并设定为LVM的文件系统

vgcreate /vg01 /sda[789]

2、VG中创建raid0LV

lvcreate -L 300M -i 2 -I 64K -n lv_r0 vg01

3、查看信息

lvdisplay

lvs –a ---查看LV信息,功能类似于display,但可见到raid类型

lvs -a -ovg_name,name,devices,size ---指定显示列查看

注:-a 显示所有lv信息,-o 指定显示的列

12.5.2制作raid1功能的LV

我们也可以在创建LV时,直接指定创建为带镜像功能的LV,即raid1级LV。

lvcreate -L 400M -m 1 -n lv_r1 vg01 ---创建raid1级LV

参数:-m 表示增加1个镜像,即做几个备份mirror

注:镜像又称为mirror,给源数据增加一份镜像,又称为增加一个mirror

lvdisplay -m/dev/vg01/lv01 ---可见raid1镜像信息

lvs -a -o+devices

注:+devices是在lvs原有的显示结果后增加devices列,即显示所在设备。

12.5.3 raid1级LV故障修复

当raid1出现故障时,我们的解决思路是:先通知LV去除镜像功能,把raid1中故障盘上的mirror删除。再从VG中的一个可用PV上,重新与LV建立镜像关系,重建mirror,或重新加入新PV到VG中,恢复镜像。具体模式实验如下:

首先我先故意破坏一个分区,模拟故障盘:

dd if=/dev/zero of=/dev/sda7 bs=100M count=3 ---模拟sda7故障

lvs -a -o +devices ---再次查看会发现故障盘,显示为unknown未知状态

pvdisplay ---查看PV,也会见到丢失的磁盘

其实,当前的LV中的sda7数据是丢失的,在有丢失磁盘(miss或unknown状态)的情况下,VG、LV是不可删除、清理的,我们可以自行用lvremove、vgremove尝试下,会发现命令是不能正确执行的。

所以必须先把故障磁盘剔除后,VG、LV才可以正常操作。命令如下:

vgreduce --removemissing --force vg01 ---把丢失的磁盘从vg中清除

pvdisplay ---再次查看会发现丢失的磁盘不见了

lvs -a -o +devices ---查看LV会发现某个镜像无磁盘存放

这时候我们需要通知LV把故障磁盘上的mirror镜像删除

lvconvert -m 0 /dev/vg01/lv_r1 ---更改lv的镜像数为0,即去除镜像功能,成为普通LV

lvconvert -m 1 /dev/vg01/lv_r1 /dev/sda9 ---增加回镜像,并指定在哪个PV上加镜像

lvs -a -o +devices --再次查看,恢复正常

重建mirror的过程,其实也是给现有LV增加mirror,升级成raid1级LV的过程,命令操作基本一样,读者可自行操作验证。

说明:以上我们所讲解的创建带raid功能LV的过程,仅介绍了LV的配置管理,其实LV创建成功后,仍然需要制作文件系统,再挂载使用。同样需要编辑/etc/fstab配置文件,让其开机自动挂载。具体操作读者可自行完成。

原文发布于微信公众号 - 教主小筑(gh_e0879483602d)

原文发表时间:2019-04-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券