REDHAT 7.5beta 新推出的VDO功能

前言

关于VDO

VDO的技术来源于收购的Permabit公司,一个专门从事重删技术的公司,所以技术可靠性是没有问题的

VDO是一个内核模块,目的是通过重删减少磁盘的空间占用,以及减少复制带宽,VDO是基于块设备层之上的,也就是在原设备基础上映射出mapper虚拟设备,然后直接使用即可,功能的实现主要基于以下技术:

  • 零区块的排除: 在初始化阶段,整块为0的会被元数据记录下来,这个可以用水杯里面的水和沙子混合的例子来解释,使用滤纸(零块排除),把沙子(非零空间)给过滤出来,然后就是下一个阶段的处理
  • 重复数据删除: 在第二阶段,输入的数据会判断是不是冗余数据(在写入之前就判断),这个部分的数据通过UDS内核模块来判断(U niversal D eduplication S ervice),被判断为重复数据的部分不会被写入,然后对元数据进行更新,直接指向原始已经存储的数据块即可
  • 压缩: 一旦消零和重删完成,LZ4压缩会对每个单独的数据块进行处理,然后压缩好的数据块会以固定大小4KB的数据块存储在介质上,由于一个物理块可以包含很多的压缩块,这个也可以加速读取的性能

上面的技术看起来很容易理解,但是实际做成产品还是相当大的难度的,技术设想和实际输出还是有很大距离,不然redhat也不会通过收购来获取技术,而不是自己去重新写一套了

如何获取VDO

主要有两种方式,一种是通过申请测试版的方式申请redhat 7.5的ISO,这个可以进行一个月的测试

另外一种方式是申请测试版本,然后通过源码在你正在使用的ISO上面进行相关的测试,从适配方面在自己的ISO上面进行测试能够更好的对比,由于基于redhat的源码做分发会涉及法律问题,这里就不做过多讲解,也不提供rpm包,自行申请测试即可

实践过程

安装VDO

安装的操作系统为CentOS Linux release 7.4.1708

[root@lab101 ~]# lsb_release -a
LSB Version:    :core-4.1-amd64:core-4.1-noarch
Distributor ID:    CentOS
Description:    CentOS Linux release 7.4.1708 (Core) 
Release:    7.4.1708
Codename:    Core

内核版本如下

[root@lab101 ~]# uname -a
Linux lab101 3.10.0-693.el7.x86_64 #1 SMP Tue Aug 22 21:09:27 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux
[root@lab101 ~]# rpm -qa|grep kernel
kernel-tools-libs-3.10.0-693.el7.x86_64
abrt-addon-kerneloops-2.1.11-48.el7.centos.x86_64
kernel-3.10.0-693.el7.x86_64

我们把内核升级一下,因为这个模块比较新,所以选择目前updates里面最新的

wget http://mirror.centos.org/centos/7/updates/x86_64/Packages/kernel-3.10.0-693.17.1.el7.x86_64.rpm

大版本一致,小版本不同,直接安装即可

[root@lab101 ~]# rpm -ivh kernel-3.10.0-693.17.1.el7.x86_64.rpm 
Preparing...                          ################################# [100%]
Updating / installing...
   1:kernel-3.10.0-693.17.1.el7       ################################# [100%]
[root@lab101 ~]# grub2-set-default 'CentOS Linux (3.10.0-693.17.1.el7.x86_64) 7 (Core)'

重启服务器 安装

[root@lab101 ~]# rpm -ivh kmod-kvdo-6.1.0.98-11.el7.centos.x86_64.rpm 
Preparing...                          ################################# [100%]
Updating / installing...
   1:kmod-kvdo-6.1.0.98-11.el7.centos ################################# [100%]
[root@lab101 ~]# yum install PyYAML   
[root@lab101 ~]# rpm -ivh vdo-6.1.0.98-13.x86_64.rpm 
Preparing...                          ################################# [100%]
Updating / installing...
   1:vdo-6.1.0.98-13                  ################################# [100%]

到这里安装就完成了

配置VDO

创建一个vdo卷

[root@lab101 ~]# vdo create --name=my_vdo  --device=/dev/sdb1   --vdoLogicalSize=80G --writePolicy=sync
Creating VDO my_vdo
Starting VDO my_vdo
Starting compression on VDO my_vdo
VDO instance 0 volume is ready at /dev/mapper/my_vdo

参数解释: name是创建的vdo名称,也就是生成的新设备的名称,device是指定的设备,vdoLogicalSize是指定新生成的设备的大小,因为vdo是支持精简配置的,也就是你原来1T的物理空间,这里可以创建出超过1T的逻辑空间,因为内部支持重删,可以根据数据类型进行放大,writePolicy是指定写入的模式的

如果磁盘设备是write back模式的可以设置为aysnc,如果没有的话就设置为sync模式

如果磁盘没有写缓存或者有write throuth cache的时候设置为sync模式 如果磁盘有write back cache的时候就必须设置成async模式

默认是sync模式的,这里的同步异步实际上是告诉vdo,我们的底层存储是不是有写缓存,有缓存的话就要告诉vdo我们底层是async的,没有缓存的时候就是sync

检查我们的磁盘的写入方式

[root@lab101 ~]# cat /sys/block/sdb/device/scsi_disk/0\:0\:1\:0/cache_type 
write through

这个输出的根据上面的规则,我们设置为sync模式

修改缓存模式的命令

vdo changeWritePolicy --writePolicy=sync_or_async --name=vdo_name

格式化硬盘

[root@lab101 ~]# mkfs.xfs -K /dev/mapper/my_vdo 
meta-data=/dev/mapper/my_vdo     isize=512    agcount=4, agsize=5242880 blks
         =                       sectsz=4096  attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=20971520, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=10240, version=2
         =                       sectsz=4096  sunit=1 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

使用-K参数是加速了格式化的操作,也就是不发送丢弃的请求,因为之前创建了vdo,已经将其初始化为0了,所以可以采用这个操作

我们挂载的时候最好能加上discard的选项,精简配置的设备需要对之前的空间进行回收,一般来说有在线的和离线的回收,离线的就通过fstrim来进行回收即可

挂载设备

[root@lab101 ~]# mount -o discard /dev/mapper/my_vdo /myvod/
[root@lab101 ~]# vdostats --human-readable 
Device                    Size      Used Available Use% Space saving%
/dev/mapper/my_vdo       50.0G      4.0G     46.0G   8%           99%

默认创建完vdo设备就会占用4G左右的空间,这个用来存储UDS和VDO的元数据

检查重删和压缩是否开启

[root@lab101 ~]# vdo status -n my_vdo|grep Deduplication
    Deduplication: enabled
[root@lab101 ~]# vdo status -n my_vdo|grep Compress
    Compression: enabled

如果没有开启,可以通过下面的命令开启

vdo enableCompression -n <vdo_vol_name>
vdo enableDeduplication -n <vdo_vol_name>

验证重删功能

[root@lab101 ~]# df -h|grep vdo
/dev/mapper/my_vdo   80G   33M   80G   1% /myvod
[root@lab101 ~]# vdostats --hu
Device                    Size      Used Available Use% Space saving%
/dev/mapper/my_vdo       50.0G      4.0G     46.0G   8%           99%

传入一个ISO文件CentOS-7-x86_64-NetInstall-1708.iso 422M的

[root@lab101 ~]# df -h|grep vdo
/dev/mapper/my_vdo   80G  455M   80G   1% /myvod
[root@lab101 ~]# vdostats --hu
Device                    Size      Used Available Use% Space saving%
/dev/mapper/my_vdo       50.0G      4.4G     45.6G   8%            9%

然后重复传入3个相同文件,一共四个文件

[root@lab101 ~]# df -h|grep vdo
/dev/mapper/my_vdo   80G  1.7G   79G   3% /myvod
[root@lab101 ~]# vdostats --hu
Device                    Size      Used Available Use% Space saving%
/dev/mapper/my_vdo       50.0G      4.4G     45.6G   8%           73%

可以看到后面传入的文件,并没有占用底层存储的实际空间

验证压缩功能

测试数据来源 silesia的资料库

http://sun.aei.polsl.pl/~sdeor/corpus/silesia.zip

通过资料库里面的文件来看下对不同类型的数据的压缩情况

Filename

描述

类型

原始空间(KB)

实际占用空间(KB)

dickens

狄更斯文集

英文原文

9953

9948

mozilla

Mozilla的1.0可执行文件

执行程序

50020

33228

mr

医用resonanse图像

图片

9736

9272

nci

结构化的化学数据库

数据库

32767

10168

ooffice

Open Office.org 1.01 DLL

可执行程序

6008

5640

osdb

基准测试用的MySQL格式示例数据库

数据库

9849

9824

reymont

瓦迪斯瓦夫·雷蒙特的书

PDF

6471

6312

samba

samba源代码

src源码

21100

11768

sao

星空数据

天文格式的bin文件

7081

7036

webster

辞海

HTML

40487

40144

xml

XML文件

HTML

5220

2180

x-ray

透视医学图片

医院数据

8275

8260

可以看到都有不同程度的压缩,某些类型的数据压缩能达到50%的比例

停止vdo操作

[root@lab101 ~]# vdo stop  -n my_vdo

启动vdo操作

[root@lab101 ~]# vdo start  -n my_vdo

删除vdo操作

[root@lab101 ~]# vdo remove -n my_vdo

VDO和CEPH能产生什么火花?

在ceph里面可以用到vdo的地方有两个,一个是作为Kernel rbd的前端,在块设备的上层,另外一个是作为OSD的底层,也就是把VDO当OSD来使用,我们看下怎么使用

作为rbd的上层

[root@lab101 ceph]# rbd create testvdorbd --size 20G
[root@lab101 ceph]# rbd map testvdorbd

创建rbd的vdo

[root@lab101 ceph]# vdo create --name=rbd_vdo  --device=/dev/rbd/rbd/testvdorbd
Creating VDO rbd_vdo
vdo: ERROR -   Device /dev/rbd/rbd/testvdorbd not found (or ignored by filtering).

被默认排除掉了,这个以前正好见过类似的问题,比较好处理

这个地方因为vdo添加存储的时候内部调用了lvm相关的配置,然后lvm默认会排除掉rbd,这里修改下lvm的配置文件即可 在/etc/lvm/lvm.conf的修改如下

types = [ "fd", 16 ,"rbd", 64 ]

把types里面增加下rbd 的文件类型即可

[root@lab101 ceph]# vdo create --name=rbd_vdo  --device=/dev/rbd/rbd/testvdorbd
Creating VDO rbd_vdo
Starting VDO rbd_vdo
Starting compression on VDO rbd_vdo
VDO instance 2 volume is ready at /dev/mapper/rbd_vdo

挂载

mount -o discard /dev/mapper/rbd_vdo /mnt

查看容量

[root@lab101 mnt]# vdostats --human-readable
Device                    Size      Used Available Use% Space saving%
/dev/mapper/rbd_vdo      20.0G      4.4G     15.6G  22%            3%
[root@lab101 mnt]# ceph df
GLOBAL:
    SIZE       AVAIL      RAW USED     %RAW USED 
    57316M     49409M        7906M         13.79 
POOLS:
    NAME     ID     USED     %USED     MAX AVAIL     OBJECTS 
    rbd      0      566M      1.20        46543M         148
[root@lab101 mnt]# ceph df
GLOBAL:
    SIZE       AVAIL      RAW USED     %RAW USED 
    57316M     48699M        8616M         15.03 
POOLS:
    NAME     ID     USED      %USED     MAX AVAIL     OBJECTS 
    rbd      0      1393M      2.95        45833M         355

多次传入相同的时候可以看到对于ceph内部来说还是会产生对象的,只是这个在vdo的文件系统来看是不占用物理空间的

对镜像做下copy

[root@lab101 ~]# rbd cp testvdorbd testvdorbdclone
[root@lab101 ~]#rbd map  testvdorbdclone
[root@lab101 ~]# cat /etc/vdoconf.yml |grep device
      device: /dev/rbd/rbd/testvdorbdclone

修改配置文件为对应的设备,就可以启动了,这个操作说明vdo设备是不绑定硬件的,只需要有相关的配置文件,即可对文件系统进行启动

那么这个在一个数据转移用途下,就可以利用vdo对数据进行重删压缩,然后把整个img转移到远端去,这个也符合现在的私有云和公有云之间的数据传输量的问题,会节省不少空间

vdo作为ceph的osd

ceph对设备的属性有要求,这里直接采用目录部署的方式

[root@lab101 ceph]# vdo create --name sdb1 --device=/dev/sdb1
[root@lab101 ceph]# vdo create --name sdb2 --device=/dev/sdb2
[root@lab101 ceph]# mkfs.xfs -K -f /dev/mapper/sdb1
[root@lab101 ceph]# mkfs.xfs -K -f /dev/mapper/sdb2
[root@lab101 ceph]# mkdir /osd1
[root@lab101 ceph]# mkdir /osd2
[root@lab101 ceph]# mount /dev/mapper/sdb1 /osd1/
[root@lab101 ceph]# mount /dev/mapper/sdb2 /osd2/
[root@lab101 ceph]# chown ceph:ceph /osd1
[root@lab101 ceph]# chown ceph:ceph /osd2
[root@lab101 ceph]# ceph-deploy osd prepare lab101:/osd1/
[root@lab101 ceph]# ceph-deploy osd prepare lab101:/osd2/
[root@lab101 ceph]# ceph-deploy osd activate lab101:/osd1/
[root@lab101 ceph]# ceph-deploy osd activate lab101:/osd2/

写入测试数据

[root@lab101 ceph]# rados  -p rbd bench 60 write --no-cleanup
[root@lab101 ceph]# df -h
Filesystem        Size  Used Avail Use% Mounted on
/dev/sda2          56G  2.0G   54G   4% /
devtmpfs          983M     0  983M   0% /dev
tmpfs             992M     0  992M   0% /dev/shm
tmpfs             992M  8.8M  983M   1% /run
tmpfs             992M     0  992M   0% /sys/fs/cgroup
/dev/sda1        1014M  151M  864M  15% /boot
tmpfs             199M     0  199M   0% /run/user/0
/dev/mapper/sdb1   22G  6.5G   16G  30% /osd1
/dev/mapper/sdb2   22G  6.5G   16G  30% /osd2
[root@lab101 ceph]# vdostats --human-readable 
Device                    Size      Used Available Use% Space saving%
/dev/mapper/sdb2         25.0G      3.0G     22.0G  12%           99%
/dev/mapper/sdb1         25.0G      3.0G     22.0G  12%           99%

可以看到虽然在df看到了空间的占用,实际上因为rados bench写入的是填充的空洞数据,vdo作为osd对数据直接进行了重删了,测试可以看到vdo是可以作为ceph osd的,由于我的测试环境是在vmware虚拟机里面的,所以并不能做性能测试,有硬件环境的情况下可以对比下开启vdo和不开启的情况的性能区别

参考文档

vdo-qs-creating-a-volumeDetermining the space savings of virtual data optimizer (VDO) in RHEL 7.5 Beta

总结

本篇从配置和部署以及适配方面对vdo进行一次比较完整的实践,从目前的测试情况来看,配置简单,对环境友好,基本是可以作为一个驱动层嵌入到任何块设备之上的,未来应该有广泛的用途,目前还不清楚红帽是否会把这个属性放到centos下面去,目前可以通过在https://access.redhat.com/downloads/ 申请测试版本的ISO进行功能的测试

应该是农历年前的最后一篇文章了,祝新春快乐!

原文发布于微信公众号 - 磨磨谈(momotan1987)

原文发表时间:2018-02-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Python中文社区

那些年在win下填过的Django坑

專 欄 ❈ JacobYRJ,Python中文社区专栏作者 Python语言爱好者,目前在做Django项目。 Github博客:https://JacobY...

1837
来自专栏FreeBuf

网卡厂商自动识别工具(附源代码)

在渗透测试过程中,为了推测局域网内主机品牌,一个简单易行的办法就是通过ARP协议获取主机MAC地址列表,再通过互联网手动查询其所属厂商。笔者分享的工具实现了在A...

2296
来自专栏阮一峰的网络日志

版本控制入门插图教程

但是,我平时只是业余写一些小程序,感觉特地装一个VCS太麻烦,所以一直没有用。最近,因为想认真做一个中等规模的项目,所以决心好好学一下怎么用。

1162
来自专栏嵌入式程序猿

Modbus RTU驱动程序开发指引

Modbus RTU 驱动开发 摘要 这篇笔记主要介绍基于飞思卡尔kv4x系列MCU的modbus RTU(Remote Terminal Unit)驱动程序开...

3735
来自专栏jojo的技术小屋

转 前端代码异常日志收集与监控

☞ 收集日志的方法 平时收集日志的手段,可以归类为两个方面,一个是逻辑中的错误判断,为主动判断;一个是利用语言给我们提供的捷径,暴力式获取错误信息,如 try....

4589
来自专栏PHP在线

缓存更新的套路

看到好些人在写更新缓存数据代码时,先删除缓存,然后再更新数据库,而后续的操作会把数据再装载的缓存中。然而,这个是逻辑是错误的。试想,两个并发操作,一个是更新操作...

35813
来自专栏软件测试经验与教训

用例设计工具-PICT

3165
来自专栏北京马哥教育

某次压测时物理内存被用光 Tomcat 被 Kernel kill 掉的案例

? 背景描述 某项目结构图如下(前端交互式体验及对象存储为主,Redis 及 rds 负载较小没有画出): ? web1 和 web2 是两个 Apache,...

3087
来自专栏WindCoder

WordPress发布文章自动同步到新浪微博(带特色图片)

整体来源于张戈博客,本处仅是修改添加了一处显示文章分类的小功能,若是一篇文章有多个分类,默认使用第一个。经测试好像对于七牛中设置了空间防盗链的不太友好,可能会报...

5552
来自专栏数据和云

深入并行:从生产者到消费者模型深度理解Oracle的并行

陈焕生 Oracle Real-World Performance Group 成员,senior performance engineer,专注于 OLTP...

3176

扫码关注云+社区

领取腾讯云代金券