REDHAT 7.5beta 新推出的VDO功能
前言
关于VDO
VDO的技术来源于收购的Permabit公司，一个专门从事重删技术的公司，所以技术可靠性是没有问题的
VDO是一个内核模块，目的是通过重删减少磁盘的空间占用，以及减少复制带宽，VDO是基于块设备层之上的，也就是在原设备基础上映射出mapper虚拟设备，然后直接使用即可，功能的实现主要基于以下技术：
- 零区块的排除： 在初始化阶段，整块为0的会被元数据记录下来，这个可以用水杯里面的水和沙子混合的例子来解释，使用滤纸（零块排除），把沙子（非零空间）给过滤出来，然后就是下一个阶段的处理
- 重复数据删除： 在第二阶段，输入的数据会判断是不是冗余数据（在写入之前就判断），这个部分的数据通过UDS内核模块来判断（U niversal D eduplication S ervice），被判断为重复数据的部分不会被写入，然后对元数据进行更新，直接指向原始已经存储的数据块即可
- 压缩： 一旦消零和重删完成，LZ4压缩会对每个单独的数据块进行处理，然后压缩好的数据块会以固定大小4KB的数据块存储在介质上，由于一个物理块可以包含很多的压缩块，这个也可以加速读取的性能
上面的技术看起来很容易理解，但是实际做成产品还是相当大的难度的，技术设想和实际输出还是有很大距离，不然redhat也不会通过收购来获取技术，而不是自己去重新写一套了
如何获取VDO
主要有两种方式，一种是通过申请测试版的方式申请redhat 7.5的ISO，这个可以进行一个月的测试
另外一种方式是申请测试版本，然后通过源码在你正在使用的ISO上面进行相关的测试，从适配方面在自己的ISO上面进行测试能够更好的对比，由于基于redhat的源码做分发会涉及法律问题，这里就不做过多讲解，也不提供rpm包，自行申请测试即可
实践过程
安装VDO
安装的操作系统为CentOS Linux release 7.4.1708
[root@lab101 ~]# lsb_release -a
LSB Version: :core-4.1-amd64:core-4.1-noarch
Distributor ID: CentOS
Description: CentOS Linux release 7.4.1708 (Core)
Release: 7.4.1708
Codename: Core内核版本如下
[root@lab101 ~]# uname -a
Linux lab101 3.10.0-693.el7.x86_64 #1 SMP Tue Aug 22 21:09:27 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux[root@lab101 ~]# rpm -qa|grep kernel
kernel-tools-libs-3.10.0-693.el7.x86_64
abrt-addon-kerneloops-2.1.11-48.el7.centos.x86_64
kernel-3.10.0-693.el7.x86_64我们把内核升级一下，因为这个模块比较新，所以选择目前updates里面最新的
wget http://mirror.centos.org/centos/7/updates/x86_64/Packages/kernel-3.10.0-693.17.1.el7.x86_64.rpm大版本一致，小版本不同，直接安装即可
[root@lab101 ~]# rpm -ivh kernel-3.10.0-693.17.1.el7.x86_64.rpm
Preparing... ################################# [100%]
Updating / installing...
1:kernel-3.10.0-693.17.1.el7 ################################# [100%]
[root@lab101 ~]# grub2-set-default 'CentOS Linux (3.10.0-693.17.1.el7.x86_64) 7 (Core)'重启服务器 安装
[root@lab101 ~]# rpm -ivh kmod-kvdo-6.1.0.98-11.el7.centos.x86_64.rpm
Preparing... ################################# [100%]
Updating / installing...
1:kmod-kvdo-6.1.0.98-11.el7.centos ################################# [100%]
[root@lab101 ~]# yum install PyYAML
[root@lab101 ~]# rpm -ivh vdo-6.1.0.98-13.x86_64.rpm
Preparing... ################################# [100%]
Updating / installing...
1:vdo-6.1.0.98-13 ################################# [100%]到这里安装就完成了
配置VDO
创建一个vdo卷
[root@lab101 ~]# vdo create --name=my_vdo --device=/dev/sdb1 --vdoLogicalSize=80G --writePolicy=sync
Creating VDO my_vdo
Starting VDO my_vdo
Starting compression on VDO my_vdo
VDO instance 0 volume is ready at /dev/mapper/my_vdo参数解释： name是创建的vdo名称，也就是生成的新设备的名称，device是指定的设备，vdoLogicalSize是指定新生成的设备的大小，因为vdo是支持精简配置的，也就是你原来1T的物理空间，这里可以创建出超过1T的逻辑空间，因为内部支持重删，可以根据数据类型进行放大，writePolicy是指定写入的模式的
如果磁盘设备是write back模式的可以设置为aysnc，如果没有的话就设置为sync模式
如果磁盘没有写缓存或者有write throuth cache的时候设置为sync模式 如果磁盘有write back cache的时候就必须设置成async模式
默认是sync模式的，这里的同步异步实际上是告诉vdo，我们的底层存储是不是有写缓存，有缓存的话就要告诉vdo我们底层是async的，没有缓存的时候就是sync
检查我们的磁盘的写入方式
[root@lab101 ~]# cat /sys/block/sdb/device/scsi_disk/0\:0\:1\:0/cache_type
write through这个输出的根据上面的规则，我们设置为sync模式
修改缓存模式的命令
vdo changeWritePolicy --writePolicy=sync_or_async --name=vdo_name格式化硬盘
[root@lab101 ~]# mkfs.xfs -K /dev/mapper/my_vdo
meta-data=/dev/mapper/my_vdo isize=512 agcount=4, agsize=5242880 blks
= sectsz=4096 attr=2, projid32bit=1
= crc=1 finobt=0, sparse=0
data = bsize=4096 blocks=20971520, imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=10240, version=2
= sectsz=4096 sunit=1 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0使用-K参数是加速了格式化的操作，也就是不发送丢弃的请求，因为之前创建了vdo，已经将其初始化为0了，所以可以采用这个操作
我们挂载的时候最好能加上discard的选项，精简配置的设备需要对之前的空间进行回收，一般来说有在线的和离线的回收，离线的就通过fstrim来进行回收即可
挂载设备
[root@lab101 ~]# mount -o discard /dev/mapper/my_vdo /myvod/[root@lab101 ~]# vdostats --human-readable
Device Size Used Available Use% Space saving%
/dev/mapper/my_vdo 50.0G 4.0G 46.0G 8% 99%默认创建完vdo设备就会占用4G左右的空间，这个用来存储UDS和VDO的元数据
检查重删和压缩是否开启
[root@lab101 ~]# vdo status -n my_vdo|grep Deduplication
Deduplication: enabled
[root@lab101 ~]# vdo status -n my_vdo|grep Compress
Compression: enabled如果没有开启，可以通过下面的命令开启
vdo enableCompression -n <vdo_vol_name>
vdo enableDeduplication -n <vdo_vol_name>验证重删功能
[root@lab101 ~]# df -h|grep vdo
/dev/mapper/my_vdo 80G 33M 80G 1% /myvod
[root@lab101 ~]# vdostats --hu
Device Size Used Available Use% Space saving%
/dev/mapper/my_vdo 50.0G 4.0G 46.0G 8% 99%传入一个ISO文件CentOS-7-x86_64-NetInstall-1708.iso 422M的
[root@lab101 ~]# df -h|grep vdo
/dev/mapper/my_vdo 80G 455M 80G 1% /myvod
[root@lab101 ~]# vdostats --hu
Device Size Used Available Use% Space saving%
/dev/mapper/my_vdo 50.0G 4.4G 45.6G 8% 9%然后重复传入3个相同文件，一共四个文件
[root@lab101 ~]# df -h|grep vdo
/dev/mapper/my_vdo 80G 1.7G 79G 3% /myvod
[root@lab101 ~]# vdostats --hu
Device Size Used Available Use% Space saving%
/dev/mapper/my_vdo 50.0G 4.4G 45.6G 8% 73%可以看到后面传入的文件，并没有占用底层存储的实际空间
验证压缩功能
测试数据来源 silesia的资料库
http://sun.aei.polsl.pl/~sdeor/corpus/silesia.zip通过资料库里面的文件来看下对不同类型的数据的压缩情况
Filename | 描述 | 类型 | 原始空间（KB） | 实际占用空间（KB） |
|---|---|---|---|---|
dickens | 狄更斯文集 | 英文原文 | 9953 | 9948 |
mozilla | Mozilla的1.0可执行文件 | 执行程序 | 50020 | 33228 |
mr | 医用resonanse图像 | 图片 | 9736 | 9272 |
nci | 结构化的化学数据库 | 数据库 | 32767 | 10168 |
ooffice | Open Office.org 1.01 DLL | 可执行程序 | 6008 | 5640 |
osdb | 基准测试用的MySQL格式示例数据库 | 数据库 | 9849 | 9824 |
reymont | 瓦迪斯瓦夫·雷蒙特的书 | 6471 | 6312 | |
samba | samba源代码 | src源码 | 21100 | 11768 |
sao | 星空数据 | 天文格式的bin文件 | 7081 | 7036 |
webster | 辞海 | HTML | 40487 | 40144 |
xml | XML文件 | HTML | 5220 | 2180 |
x-ray | 透视医学图片 | 医院数据 | 8275 | 8260 |
可以看到都有不同程度的压缩，某些类型的数据压缩能达到50%的比例
停止vdo操作
[root@lab101 ~]# vdo stop -n my_vdo启动vdo操作
[root@lab101 ~]# vdo start -n my_vdo删除vdo操作
[root@lab101 ~]# vdo remove -n my_vdoVDO和CEPH能产生什么火花？
在ceph里面可以用到vdo的地方有两个，一个是作为Kernel rbd的前端，在块设备的上层，另外一个是作为OSD的底层，也就是把VDO当OSD来使用，我们看下怎么使用
作为rbd的上层
[root@lab101 ceph]# rbd create testvdorbd --size 20G
[root@lab101 ceph]# rbd map testvdorbd创建rbd的vdo
[root@lab101 ceph]# vdo create --name=rbd_vdo --device=/dev/rbd/rbd/testvdorbd
Creating VDO rbd_vdo
vdo: ERROR - Device /dev/rbd/rbd/testvdorbd not found (or ignored by filtering).被默认排除掉了，这个以前正好见过类似的问题，比较好处理
这个地方因为vdo添加存储的时候内部调用了lvm相关的配置，然后lvm默认会排除掉rbd，这里修改下lvm的配置文件即可 在/etc/lvm/lvm.conf的修改如下
types = [ "fd", 16 ,"rbd", 64 ]把types里面增加下rbd 的文件类型即可
[root@lab101 ceph]# vdo create --name=rbd_vdo --device=/dev/rbd/rbd/testvdorbd
Creating VDO rbd_vdo
Starting VDO rbd_vdo
Starting compression on VDO rbd_vdo
VDO instance 2 volume is ready at /dev/mapper/rbd_vdo挂载
mount -o discard /dev/mapper/rbd_vdo /mnt查看容量
[root@lab101 mnt]# vdostats --human-readable
Device Size Used Available Use% Space saving%
/dev/mapper/rbd_vdo 20.0G 4.4G 15.6G 22% 3%[root@lab101 mnt]# ceph df
GLOBAL:
SIZE AVAIL RAW USED %RAW USED
57316M 49409M 7906M 13.79
POOLS:
NAME ID USED %USED MAX AVAIL OBJECTS
rbd 0 566M 1.20 46543M 148[root@lab101 mnt]# ceph df
GLOBAL:
SIZE AVAIL RAW USED %RAW USED
57316M 48699M 8616M 15.03
POOLS:
NAME ID USED %USED MAX AVAIL OBJECTS
rbd 0 1393M 2.95 45833M 355多次传入相同的时候可以看到对于ceph内部来说还是会产生对象的，只是这个在vdo的文件系统来看是不占用物理空间的
对镜像做下copy
[root@lab101 ~]# rbd cp testvdorbd testvdorbdclone[root@lab101 ~]#rbd map testvdorbdclone[root@lab101 ~]# cat /etc/vdoconf.yml |grep device
device: /dev/rbd/rbd/testvdorbdclone修改配置文件为对应的设备，就可以启动了,这个操作说明vdo设备是不绑定硬件的，只需要有相关的配置文件，即可对文件系统进行启动
那么这个在一个数据转移用途下，就可以利用vdo对数据进行重删压缩，然后把整个img转移到远端去，这个也符合现在的私有云和公有云之间的数据传输量的问题，会节省不少空间
vdo作为ceph的osd
ceph对设备的属性有要求，这里直接采用目录部署的方式
[root@lab101 ceph]# vdo create --name sdb1 --device=/dev/sdb1
[root@lab101 ceph]# vdo create --name sdb2 --device=/dev/sdb2
[root@lab101 ceph]# mkfs.xfs -K -f /dev/mapper/sdb1
[root@lab101 ceph]# mkfs.xfs -K -f /dev/mapper/sdb2
[root@lab101 ceph]# mkdir /osd1
[root@lab101 ceph]# mkdir /osd2
[root@lab101 ceph]# mount /dev/mapper/sdb1 /osd1/
[root@lab101 ceph]# mount /dev/mapper/sdb2 /osd2/
[root@lab101 ceph]# chown ceph:ceph /osd1
[root@lab101 ceph]# chown ceph:ceph /osd2
[root@lab101 ceph]# ceph-deploy osd prepare lab101:/osd1/
[root@lab101 ceph]# ceph-deploy osd prepare lab101:/osd2/
[root@lab101 ceph]# ceph-deploy osd activate lab101:/osd1/
[root@lab101 ceph]# ceph-deploy osd activate lab101:/osd2/写入测试数据
[root@lab101 ceph]# rados -p rbd bench 60 write --no-cleanup[root@lab101 ceph]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda2 56G 2.0G 54G 4% /
devtmpfs 983M 0 983M 0% /dev
tmpfs 992M 0 992M 0% /dev/shm
tmpfs 992M 8.8M 983M 1% /run
tmpfs 992M 0 992M 0% /sys/fs/cgroup
/dev/sda1 1014M 151M 864M 15% /boot
tmpfs 199M 0 199M 0% /run/user/0
/dev/mapper/sdb1 22G 6.5G 16G 30% /osd1
/dev/mapper/sdb2 22G 6.5G 16G 30% /osd2
[root@lab101 ceph]# vdostats --human-readable
Device Size Used Available Use% Space saving%
/dev/mapper/sdb2 25.0G 3.0G 22.0G 12% 99%
/dev/mapper/sdb1 25.0G 3.0G 22.0G 12% 99%可以看到虽然在df看到了空间的占用，实际上因为rados bench写入的是填充的空洞数据，vdo作为osd对数据直接进行了重删了，测试可以看到vdo是可以作为ceph osd的，由于我的测试环境是在vmware虚拟机里面的，所以并不能做性能测试，有硬件环境的情况下可以对比下开启vdo和不开启的情况的性能区别
参考文档
vdo-qs-creating-a-volumeDetermining the space savings of virtual data optimizer (VDO) in RHEL 7.5 Beta
总结
本篇从配置和部署以及适配方面对vdo进行一次比较完整的实践，从目前的测试情况来看，配置简单，对环境友好，基本是可以作为一个驱动层嵌入到任何块设备之上的，未来应该有广泛的用途，目前还不清楚红帽是否会把这个属性放到centos下面去，目前可以通过在https://access.redhat.com/downloads/ 申请测试版本的ISO进行功能的测试
应该是农历年前的最后一篇文章了，祝新春快乐！