背景
前段时间遇到一个问题,服务器下面一个文件夹下面的图片越来越多,由原来的5G,达到了现在的94G,其中这个文件夹下面有好多重复的图片,文件多了之后造成图片备份困难,图片迁移困难,浪费了大量的空间和IO。
在本文中将介绍rdfind命令工具在linux中查找和删除重复的文件,使用之前请先在测试环境跑通并对测试环境进行严格的测试,测试通过之后再在生产环境进行操作,以免造成重要文件的丢失,数据是无价的。
Rdfind来自冗余数据查找,用于在多个目录或者多个文件中查找重复的文件,它使用校对和并根据文件查找重复项不仅包含名称。
Rdfind使用算法对文件进行分类,并检测那些是重复文件,那些是文件副本。规则如下:
安装rdfind
centos7安装
yum remove epel-release
wget https://download-ib01.fedoraproject.org/pub/epel/7/x86_64/Packages/e/epel-release-7-11.noarch.rpm
rmp -Uvh epel-release-7-11.noarch.rpm
yum insatll refind -y
查重
使用rdfind 检查/image下面的重复文件
[root@ds rdfind]# du -sh /Image/
94G /Image/
[root@ds rdfind]#
开始执行查重命令
[root@ds Image]# drfind /Image/
[root@ds Image]#
Rdfind 命令将扫描 /Image 目录,并将结果存储到当前工作目录下一个名为 results.txt 的文件中。你可以在 results.txt 文件中看到可能是重复文件的名字。
通过检查 results.txt 文件,你可以很容易的找到那些重复文件。如果愿意你可以手动的删除它们。
此外,你可在不修改其他事情情况下使用 -dryrun 选项找出所有重复文件,并在终端上输出汇总信息。
[root@ds Image]# rdfind -dryrun true /Image
[root@ds Image]#
一旦找到重复文件,你可以使用硬链接或符号链接代替他们。
使用硬链接代替所有重复文件,运行:
[root@ds Image]# rdfind -makehardlinks true /Image
[root@ds Image]#
使用符号链接/软链接代替所有重复文件,运行:
[root@ds Image]# rdfind -makesymlinks true /Image
[root@ds Image]#
目录中有一些空文件,也许你想忽略他们,你可以像下面一样使用 -ignoreempty 选项:
[root@ds Image]# rdfind -ignoreempty true /Image
[root@ds Image]#
如果你不再想要这些旧文件,删除重复文件,而不是使用硬链接或软链接代替它们。
删除重复文件,就运行:
[root@ds Image]# rdfind -deleteduplicates true /Image
[root@ds Image]#
如果你不想忽略空文件,并且和所哟重复文件一起删除。运行:
[root@ds Image]# rdfind -deleteduplicates true -ignoreempty false /Image
[root@ds Image]#
运行后查看
[root@ds Image]# du -sh /Image/
5.2G /Image/
[root@ds Image]#
本文分享自 kubernetes中文社区 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!