专栏首页磨磨谈REDHAT 7.5beta 新推出的VDO功能

REDHAT 7.5beta 新推出的VDO功能

前言

关于VDO

VDO的技术来源于收购的Permabit公司,一个专门从事重删技术的公司,所以技术可靠性是没有问题的

VDO是一个内核模块,目的是通过重删减少磁盘的空间占用,以及减少复制带宽,VDO是基于块设备层之上的,也就是在原设备基础上映射出mapper虚拟设备,然后直接使用即可,功能的实现主要基于以下技术:

  • 零区块的排除: 在初始化阶段,整块为0的会被元数据记录下来,这个可以用水杯里面的水和沙子混合的例子来解释,使用滤纸(零块排除),把沙子(非零空间)给过滤出来,然后就是下一个阶段的处理
  • 重复数据删除: 在第二阶段,输入的数据会判断是不是冗余数据(在写入之前就判断),这个部分的数据通过UDS内核模块来判断(U niversal D eduplication S ervice),被判断为重复数据的部分不会被写入,然后对元数据进行更新,直接指向原始已经存储的数据块即可
  • 压缩: 一旦消零和重删完成,LZ4压缩会对每个单独的数据块进行处理,然后压缩好的数据块会以固定大小4KB的数据块存储在介质上,由于一个物理块可以包含很多的压缩块,这个也可以加速读取的性能

上面的技术看起来很容易理解,但是实际做成产品还是相当大的难度的,技术设想和实际输出还是有很大距离,不然redhat也不会通过收购来获取技术,而不是自己去重新写一套了

如何获取VDO

主要有两种方式,一种是通过申请测试版的方式申请redhat 7.5的ISO,这个可以进行一个月的测试

另外一种方式是申请测试版本,然后通过源码在你正在使用的ISO上面进行相关的测试,从适配方面在自己的ISO上面进行测试能够更好的对比,由于基于redhat的源码做分发会涉及法律问题,这里就不做过多讲解,也不提供rpm包,自行申请测试即可

实践过程

安装VDO

安装的操作系统为CentOS Linux release 7.4.1708

[root@lab101 ~]# lsb_release -a
LSB Version:    :core-4.1-amd64:core-4.1-noarch
Distributor ID:    CentOS
Description:    CentOS Linux release 7.4.1708 (Core) 
Release:    7.4.1708
Codename:    Core

内核版本如下

[root@lab101 ~]# uname -a
Linux lab101 3.10.0-693.el7.x86_64 #1 SMP Tue Aug 22 21:09:27 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux
[root@lab101 ~]# rpm -qa|grep kernel
kernel-tools-libs-3.10.0-693.el7.x86_64
abrt-addon-kerneloops-2.1.11-48.el7.centos.x86_64
kernel-3.10.0-693.el7.x86_64

我们把内核升级一下,因为这个模块比较新,所以选择目前updates里面最新的

wget http://mirror.centos.org/centos/7/updates/x86_64/Packages/kernel-3.10.0-693.17.1.el7.x86_64.rpm

大版本一致,小版本不同,直接安装即可

[root@lab101 ~]# rpm -ivh kernel-3.10.0-693.17.1.el7.x86_64.rpm 
Preparing...                          ################################# [100%]
Updating / installing...
   1:kernel-3.10.0-693.17.1.el7       ################################# [100%]
[root@lab101 ~]# grub2-set-default 'CentOS Linux (3.10.0-693.17.1.el7.x86_64) 7 (Core)'

重启服务器 安装

[root@lab101 ~]# rpm -ivh kmod-kvdo-6.1.0.98-11.el7.centos.x86_64.rpm 
Preparing...                          ################################# [100%]
Updating / installing...
   1:kmod-kvdo-6.1.0.98-11.el7.centos ################################# [100%]
[root@lab101 ~]# yum install PyYAML   
[root@lab101 ~]# rpm -ivh vdo-6.1.0.98-13.x86_64.rpm 
Preparing...                          ################################# [100%]
Updating / installing...
   1:vdo-6.1.0.98-13                  ################################# [100%]

到这里安装就完成了

配置VDO

创建一个vdo卷

[root@lab101 ~]# vdo create --name=my_vdo  --device=/dev/sdb1   --vdoLogicalSize=80G --writePolicy=sync
Creating VDO my_vdo
Starting VDO my_vdo
Starting compression on VDO my_vdo
VDO instance 0 volume is ready at /dev/mapper/my_vdo

参数解释: name是创建的vdo名称,也就是生成的新设备的名称,device是指定的设备,vdoLogicalSize是指定新生成的设备的大小,因为vdo是支持精简配置的,也就是你原来1T的物理空间,这里可以创建出超过1T的逻辑空间,因为内部支持重删,可以根据数据类型进行放大,writePolicy是指定写入的模式的

如果磁盘设备是write back模式的可以设置为aysnc,如果没有的话就设置为sync模式

如果磁盘没有写缓存或者有write throuth cache的时候设置为sync模式 如果磁盘有write back cache的时候就必须设置成async模式

默认是sync模式的,这里的同步异步实际上是告诉vdo,我们的底层存储是不是有写缓存,有缓存的话就要告诉vdo我们底层是async的,没有缓存的时候就是sync

检查我们的磁盘的写入方式

[root@lab101 ~]# cat /sys/block/sdb/device/scsi_disk/0\:0\:1\:0/cache_type 
write through

这个输出的根据上面的规则,我们设置为sync模式

修改缓存模式的命令

vdo changeWritePolicy --writePolicy=sync_or_async --name=vdo_name

格式化硬盘

[root@lab101 ~]# mkfs.xfs -K /dev/mapper/my_vdo 
meta-data=/dev/mapper/my_vdo     isize=512    agcount=4, agsize=5242880 blks
         =                       sectsz=4096  attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=20971520, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=10240, version=2
         =                       sectsz=4096  sunit=1 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

使用-K参数是加速了格式化的操作,也就是不发送丢弃的请求,因为之前创建了vdo,已经将其初始化为0了,所以可以采用这个操作

我们挂载的时候最好能加上discard的选项,精简配置的设备需要对之前的空间进行回收,一般来说有在线的和离线的回收,离线的就通过fstrim来进行回收即可

挂载设备

[root@lab101 ~]# mount -o discard /dev/mapper/my_vdo /myvod/
[root@lab101 ~]# vdostats --human-readable 
Device                    Size      Used Available Use% Space saving%
/dev/mapper/my_vdo       50.0G      4.0G     46.0G   8%           99%

默认创建完vdo设备就会占用4G左右的空间,这个用来存储UDS和VDO的元数据

检查重删和压缩是否开启

[root@lab101 ~]# vdo status -n my_vdo|grep Deduplication
    Deduplication: enabled
[root@lab101 ~]# vdo status -n my_vdo|grep Compress
    Compression: enabled

如果没有开启,可以通过下面的命令开启

vdo enableCompression -n <vdo_vol_name>
vdo enableDeduplication -n <vdo_vol_name>

验证重删功能

[root@lab101 ~]# df -h|grep vdo
/dev/mapper/my_vdo   80G   33M   80G   1% /myvod
[root@lab101 ~]# vdostats --hu
Device                    Size      Used Available Use% Space saving%
/dev/mapper/my_vdo       50.0G      4.0G     46.0G   8%           99%

传入一个ISO文件CentOS-7-x86_64-NetInstall-1708.iso 422M的

[root@lab101 ~]# df -h|grep vdo
/dev/mapper/my_vdo   80G  455M   80G   1% /myvod
[root@lab101 ~]# vdostats --hu
Device                    Size      Used Available Use% Space saving%
/dev/mapper/my_vdo       50.0G      4.4G     45.6G   8%            9%

然后重复传入3个相同文件,一共四个文件

[root@lab101 ~]# df -h|grep vdo
/dev/mapper/my_vdo   80G  1.7G   79G   3% /myvod
[root@lab101 ~]# vdostats --hu
Device                    Size      Used Available Use% Space saving%
/dev/mapper/my_vdo       50.0G      4.4G     45.6G   8%           73%

可以看到后面传入的文件,并没有占用底层存储的实际空间

验证压缩功能

测试数据来源 silesia的资料库

http://sun.aei.polsl.pl/~sdeor/corpus/silesia.zip

通过资料库里面的文件来看下对不同类型的数据的压缩情况

Filename

描述

类型

原始空间(KB)

实际占用空间(KB)

dickens

狄更斯文集

英文原文

9953

9948

mozilla

Mozilla的1.0可执行文件

执行程序

50020

33228

mr

医用resonanse图像

图片

9736

9272

nci

结构化的化学数据库

数据库

32767

10168

ooffice

Open Office.org 1.01 DLL

可执行程序

6008

5640

osdb

基准测试用的MySQL格式示例数据库

数据库

9849

9824

reymont

瓦迪斯瓦夫·雷蒙特的书

PDF

6471

6312

samba

samba源代码

src源码

21100

11768

sao

星空数据

天文格式的bin文件

7081

7036

webster

辞海

HTML

40487

40144

xml

XML文件

HTML

5220

2180

x-ray

透视医学图片

医院数据

8275

8260

可以看到都有不同程度的压缩,某些类型的数据压缩能达到50%的比例

停止vdo操作

[root@lab101 ~]# vdo stop  -n my_vdo

启动vdo操作

[root@lab101 ~]# vdo start  -n my_vdo

删除vdo操作

[root@lab101 ~]# vdo remove -n my_vdo

VDO和CEPH能产生什么火花?

在ceph里面可以用到vdo的地方有两个,一个是作为Kernel rbd的前端,在块设备的上层,另外一个是作为OSD的底层,也就是把VDO当OSD来使用,我们看下怎么使用

作为rbd的上层

[root@lab101 ceph]# rbd create testvdorbd --size 20G
[root@lab101 ceph]# rbd map testvdorbd

创建rbd的vdo

[root@lab101 ceph]# vdo create --name=rbd_vdo  --device=/dev/rbd/rbd/testvdorbd
Creating VDO rbd_vdo
vdo: ERROR -   Device /dev/rbd/rbd/testvdorbd not found (or ignored by filtering).

被默认排除掉了,这个以前正好见过类似的问题,比较好处理

这个地方因为vdo添加存储的时候内部调用了lvm相关的配置,然后lvm默认会排除掉rbd,这里修改下lvm的配置文件即可 在/etc/lvm/lvm.conf的修改如下

types = [ "fd", 16 ,"rbd", 64 ]

把types里面增加下rbd 的文件类型即可

[root@lab101 ceph]# vdo create --name=rbd_vdo  --device=/dev/rbd/rbd/testvdorbd
Creating VDO rbd_vdo
Starting VDO rbd_vdo
Starting compression on VDO rbd_vdo
VDO instance 2 volume is ready at /dev/mapper/rbd_vdo

挂载

mount -o discard /dev/mapper/rbd_vdo /mnt

查看容量

[root@lab101 mnt]# vdostats --human-readable
Device                    Size      Used Available Use% Space saving%
/dev/mapper/rbd_vdo      20.0G      4.4G     15.6G  22%            3%
[root@lab101 mnt]# ceph df
GLOBAL:
    SIZE       AVAIL      RAW USED     %RAW USED 
    57316M     49409M        7906M         13.79 
POOLS:
    NAME     ID     USED     %USED     MAX AVAIL     OBJECTS 
    rbd      0      566M      1.20        46543M         148
[root@lab101 mnt]# ceph df
GLOBAL:
    SIZE       AVAIL      RAW USED     %RAW USED 
    57316M     48699M        8616M         15.03 
POOLS:
    NAME     ID     USED      %USED     MAX AVAIL     OBJECTS 
    rbd      0      1393M      2.95        45833M         355

多次传入相同的时候可以看到对于ceph内部来说还是会产生对象的,只是这个在vdo的文件系统来看是不占用物理空间的

对镜像做下copy

[root@lab101 ~]# rbd cp testvdorbd testvdorbdclone
[root@lab101 ~]#rbd map  testvdorbdclone
[root@lab101 ~]# cat /etc/vdoconf.yml |grep device
      device: /dev/rbd/rbd/testvdorbdclone

修改配置文件为对应的设备,就可以启动了,这个操作说明vdo设备是不绑定硬件的,只需要有相关的配置文件,即可对文件系统进行启动

那么这个在一个数据转移用途下,就可以利用vdo对数据进行重删压缩,然后把整个img转移到远端去,这个也符合现在的私有云和公有云之间的数据传输量的问题,会节省不少空间

vdo作为ceph的osd

ceph对设备的属性有要求,这里直接采用目录部署的方式

[root@lab101 ceph]# vdo create --name sdb1 --device=/dev/sdb1
[root@lab101 ceph]# vdo create --name sdb2 --device=/dev/sdb2
[root@lab101 ceph]# mkfs.xfs -K -f /dev/mapper/sdb1
[root@lab101 ceph]# mkfs.xfs -K -f /dev/mapper/sdb2
[root@lab101 ceph]# mkdir /osd1
[root@lab101 ceph]# mkdir /osd2
[root@lab101 ceph]# mount /dev/mapper/sdb1 /osd1/
[root@lab101 ceph]# mount /dev/mapper/sdb2 /osd2/
[root@lab101 ceph]# chown ceph:ceph /osd1
[root@lab101 ceph]# chown ceph:ceph /osd2
[root@lab101 ceph]# ceph-deploy osd prepare lab101:/osd1/
[root@lab101 ceph]# ceph-deploy osd prepare lab101:/osd2/
[root@lab101 ceph]# ceph-deploy osd activate lab101:/osd1/
[root@lab101 ceph]# ceph-deploy osd activate lab101:/osd2/

写入测试数据

[root@lab101 ceph]# rados  -p rbd bench 60 write --no-cleanup
[root@lab101 ceph]# df -h
Filesystem        Size  Used Avail Use% Mounted on
/dev/sda2          56G  2.0G   54G   4% /
devtmpfs          983M     0  983M   0% /dev
tmpfs             992M     0  992M   0% /dev/shm
tmpfs             992M  8.8M  983M   1% /run
tmpfs             992M     0  992M   0% /sys/fs/cgroup
/dev/sda1        1014M  151M  864M  15% /boot
tmpfs             199M     0  199M   0% /run/user/0
/dev/mapper/sdb1   22G  6.5G   16G  30% /osd1
/dev/mapper/sdb2   22G  6.5G   16G  30% /osd2
[root@lab101 ceph]# vdostats --human-readable 
Device                    Size      Used Available Use% Space saving%
/dev/mapper/sdb2         25.0G      3.0G     22.0G  12%           99%
/dev/mapper/sdb1         25.0G      3.0G     22.0G  12%           99%

可以看到虽然在df看到了空间的占用,实际上因为rados bench写入的是填充的空洞数据,vdo作为osd对数据直接进行了重删了,测试可以看到vdo是可以作为ceph osd的,由于我的测试环境是在vmware虚拟机里面的,所以并不能做性能测试,有硬件环境的情况下可以对比下开启vdo和不开启的情况的性能区别

参考文档

vdo-qs-creating-a-volumeDetermining the space savings of virtual data optimizer (VDO) in RHEL 7.5 Beta

总结

本篇从配置和部署以及适配方面对vdo进行一次比较完整的实践,从目前的测试情况来看,配置简单,对环境友好,基本是可以作为一个驱动层嵌入到任何块设备之上的,未来应该有广泛的用途,目前还不清楚红帽是否会把这个属性放到centos下面去,目前可以通过在https://access.redhat.com/downloads/ 申请测试版本的ISO进行功能的测试

应该是农历年前的最后一篇文章了,祝新春快乐!

本文分享自微信公众号 - 磨磨谈(momotan1987),作者:张鹏

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-02-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CentOS GRUB损坏修复方法

    博客很久没有更新了,一个原因就是原来存放部署博客的环境坏了,硬盘使用的是SSD,只要读取到某个文件,整个磁盘就直接识别不到了,还好博客环境之前有做备份,最近一直...

    用户2772802
  • 编译的Ceph二进制文件过大问题

    在ceph的研发群里看到一个cepher提出一个问题,编译的ceph的二进制文件过大,因为我一直用的打包好的rpm包,没有关注这个问题,重新编译了一遍发现确实有...

    用户2772802
  • 掉电后osdmap丢失无法启动osd的解决方案

    本篇讲述的是一个比较极端的故障的恢复场景,在整个集群全部服务器突然掉电的时候,osd里面的osdmap可能会出现没刷到磁盘上的情况,这个时候osdmap的最新版...

    用户2772802
  • 说实话,Intellij IDEA 自带的 Vim 插件真心不错。。。

    在 IDEA Intellij小技巧和插件 一文中简单介绍了一下IdeaVim插件。在这里详细总结一下这个插件在日常编程中的一些常用小技巧。

    芋道源码
  • 你不知道的GitEmoji规范

    日语 : 絵文字/えもじ emoji,是日本在无线通信中所使用的视觉情感符号,绘指图画,文字指的则是字符,可用来代表多种表情,如笑脸表示笑、蛋糕表示食物等. e...

    框架师
  • Linux SSH Publickey登录

    ssh 登陆验证分两种: password 和publickey password方式: 通过用户名和密码的方式验证身份! publickey方式: publi...

    joshua317
  • bunzip2: command not found

    错误信息:bunzip2: command not found [/root/anaconda2] >>> PREFIX=/root/anaconda2 An...

    程裕强
  • Android NDK:Aborting..Stop的处理方法

    在eclipse中配置cocos2d-x的android环境时,遇到这样的错误提示

    meteoric
  • #PY小贴士# git 的冲突

    为什么我的 git 在 pull 更新线上最新代码的时候提示失败,然后发现代码里多了一些奇怪的内容:

    Crossin先生
  • 小程序开发知识点总结

    我承认,最近比较懒了,博客也很久没更新了,太对不住自己了,做了一段时间小程序开发,总结了一些知识点,直接上菜。

    用户1141560

扫码关注云+社区

领取腾讯云代金券