Rdfind - 在Linux中查找重复文件

背景

前段时间遇到一个问题，服务器下面一个文件夹下面的图片越来越多，由原来的5G，达到了现在的94G，其中这个文件夹下面有好多重复的图片，文件多了之后造成图片备份困难，图片迁移困难，浪费了大量的空间和IO。

在本文中将介绍rdfind命令工具在linux中查找和删除重复的文件，使用之前请先在测试环境跑通并对测试环境进行严格的测试，测试通过之后再在生产环境进行操作，以免造成重要文件的丢失，数据是无价的。

Rdfind来自冗余数据查找，用于在多个目录或者多个文件中查找重复的文件，它使用校对和并根据文件查找重复项不仅包含名称。

Rdfind使用算法对文件进行分类,并检测那些是重复文件，那些是文件副本。规则如下：

• 如果在扫描早于B的输入参数时找到A ，则A的排名更高。
• 如果在低于B的深度发现A ，则A的排名更高。
• 如果A早于B发现，则A排名较高。

安装rdfind

centos7安装

yum remove epel-release
wget https://download-ib01.fedoraproject.org/pub/epel/7/x86_64/Packages/e/epel-release-7-11.noarch.rpm
rmp -Uvh epel-release-7-11.noarch.rpm
yum insatll refind -y

查重

使用rdfind 检查/image下面的重复文件

[root@ds rdfind]# du -sh /Image/
94G    /Image/
[root@ds rdfind]#

开始执行查重命令

[root@ds Image]# drfind /Image/
[root@ds Image]#

Rdfind 命令将扫描 /Image 目录，并将结果存储到当前工作目录下一个名为 results.txt 的文件中。你可以在 results.txt 文件中看到可能是重复文件的名字。

通过检查 results.txt 文件，你可以很容易的找到那些重复文件。如果愿意你可以手动的删除它们。

此外，你可在不修改其他事情情况下使用 -dryrun 选项找出所有重复文件，并在终端上输出汇总信息。

[root@ds Image]# rdfind -dryrun true /Image
[root@ds Image]#

一旦找到重复文件，你可以使用硬链接或符号链接代替他们。

使用硬链接代替所有重复文件，运行：

[root@ds Image]# rdfind -makehardlinks true /Image
[root@ds Image]#

使用符号链接/软链接代替所有重复文件，运行：

[root@ds Image]#  rdfind -makesymlinks true /Image
[root@ds Image]# 

目录中有一些空文件，也许你想忽略他们，你可以像下面一样使用 -ignoreempty 选项：

[root@ds Image]#  rdfind -ignoreempty true /Image
[root@ds Image]#

如果你不再想要这些旧文件，删除重复文件，而不是使用硬链接或软链接代替它们。

删除重复文件，就运行：

[root@ds Image]#  rdfind -deleteduplicates true /Image
[root@ds Image]#

如果你不想忽略空文件，并且和所哟重复文件一起删除。运行：

[root@ds Image]#  rdfind -deleteduplicates true -ignoreempty false /Image
[root@ds Image]#

运行后查看

[root@ds Image]# du -sh /Image/
5.2G  /Image/
[root@ds Image]#