首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Rdfind - Linux查找重复文件

背景 前段时间遇到一个问题,服务器下面一个文件夹下面的图片越来越多,由原来的5G,达到了现在的94G,其中这个文件夹下面有好多重复的图片,文件多了之后造成图片备份困难,图片迁移困难,浪费了大量的空间和IO...本文中将介绍rdfind命令工具linux查找和删除重复的文件,使用之前请先在测试环境跑通并对测试环境进行严格的测试,测试通过之后再在生产环境进行操作,以免造成重要文件的丢失,数据是无价的。...Rdfind来自冗余数据查找,用于多个目录或者多个文件查找重复的文件,它使用校对和并根据文件查找重复项不仅包含名称。 Rdfind使用算法对文件进行分类,并检测那些是重复文件,那些是文件副本。...root@ds Image]# drfind /Image/ [root@ds Image]# Rdfind 命令将扫描 /Image 目录,并将结果存储到当前工作目录下一个名为 results.txt 的文件...你可以 results.txt 文件中看到可能是重复文件的名字。 通过检查 results.txt 文件,你可以很容易的找到那些重复文件。如果愿意你可以手动的删除它们。

5.2K60

linux查找文件

随着时间的推移,您的磁盘驱动器可能会被大文件占用大量磁盘空间,不必要文件弄得乱七八糟。通常是因为大型日志文件或备份文件,导致Linux系统的磁盘空间不足。...本教程介绍如何使用find和du命令Linux系统查找最大的文件和目录。 使用find命令查找文件 find命令是Linux系统管理员工具库中最强大的工具之一。...它允许您根据不同的标准(包括文件大小)搜索文件和目录。 例如,如果在当前工作目录要搜索大小超过100MB的文件,请使用以下命令: sudo find ....-xdev -type f -size +100M -print 仅搜索当前工作目录(.)文件(-type f),大于100MB(-size +100M),不要查找其他文件系统上的目录(-xdev...例如,您可以搜索超过多少天的大文件,具有特定扩展名的大文件或属于特定用户的大文件。 使用du命令查找文件和目录 du命令用于估计文件空间使用情况,对于查找占用大量磁盘空间的目录和文件特别有用。

8.7K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Linux文件查找技巧

    前言 Linux常用命令,有些命令可以帮助我们查找二进制文件,帮助手册或源文件的位置,也有的命令可以帮助我们查找磁盘上的任意文件,今天我们就来看看这些命令如何使用。...which which命令会在PATH变量指定的路径,搜索某个系统命令的位置。...终端敲入一个命令,但是PATH包含的路径下没有时并且也不是内置命令时,就会提示:command not found。...i locate.zip /home/hyb/workspaces/shell/locate/LOCATE.zip 使用正则表达式 普通的查找是模糊匹配的,因此只要目标名称包含要搜索的名称,都会被搜索出来...find find命令是linux下一个强大的查找命令。与locate命令相比,它需要遍历磁盘文件,因此查找速度较慢,但正因如此,它的实时性比locate好得多。

    5.6K10

    如何在 Linux 查找文件

    Linux 系统,有时候我们需要查找并识别占用大量磁盘空间的文件。这些大文件可能导致磁盘空间不足或性能下降。本文将详细介绍 Linux 中使用不同的命令和工具来查找文件的方法。图片1....使用 find 命令find 命令是一个功能强大的工具,可以用于文件系统搜索和查找文件。结合 -size 选项,我们可以使用 find 命令来查找指定大小的文件。...目录查找大于 100 MB 的文件。...然后,根据文件大小进行降序排序,并显示最大的 10 个文件。6. 使用图形化工具除了命令行工具,Linux 还提供了一些图形化工具来帮助您查找文件。...结论 Linux ,有多种方法可以查找文件。您可以使用 find 命令、du 命令、ncdu 命令或 ls 命令来查找和显示文件的大小。

    17.3K41

    Linux查找文件方法

    Linux的四种查找文件方法 ? 一、which which命令的作用是,PATH变量指定的路径,搜索某个系统命令的位置,并且返回第一个搜索结果。 也就是说它返回的是你该命令所处的位置。...上面说了locate是一个库里查找文件,因此对于一些有新变动的文件,而你的库还没更新时,这些文件你是用locate找不到的,这时find就派上用场了,它可是从硬盘里一个一个进行查找的,正因为这样它的速度也会相当慢...,-n指n天以内,+n指n天以前 -nogroup #查无有效属组的文件,即文件的属组/etc/groups不存在 -nouser...#查无有效属主的文件,即文件的属主/etc/passwd不存在 -ctime -n +n #按文件创建时间来查找文件,-n指n天以内,+n指n天以前 -nogroup...#查无有效属组的文件,即文件的属组/etc/groups不存在 -nouser #查无有效属主的文件,即文件的属主

    6.6K10

    Linux入门】文件查找

    常用命令 which:命令查找 whereis:系统特定目录下查找文件 locate:利用数据库查找文件 find:文件查找 命令查找 which which 命令用于查找指定命令(脚本文件)的可执行文件路径...,系统的【PATH】变量指定的路径搜索某个系统命令的位置,并返回搜索结果(默认只返回第1个匹配结果)。...】环境变量所规范的路径,去查找执行文件文件名,有些命令不在环境变量所指定的路径,则无法查找系统特定目录下查找文件 whereis whereis 命令只是特定目录下查找文件并返回路径,并没有查找硬盘上的所有文件...命令格式: whereis [参数] 文件名或目录名 # 参数 -l:列出 whereis 会查找的几个主要目录 -b:只查找 binary 二进制格式的文件 -m:只查找说明文件 manual 路径下的文件...-7 # 查找指定目录下大于1MB的文件并删除(谨慎操作) find /home/test/ -size +1M -exec rm {} ; # 查找指定目录下名称包含 test 的文件 find

    28631

    使用 Ruby 或 Python 文件查找

    对于经常使用爬虫的我来说,大多数文本编辑器都会有“文件查找”功能,主要是方便快捷的查找自己说需要的内容,那我有咩有可能用Ruby 或 Python实现类似的查找功能?这些功能又能怎么实现?...问题背景许多流行的文本编辑器都具有“文件查找”功能,该功能可以一个对话框打开,其中包含以下选项:查找: 指定要查找的文本。文件筛选器: 指定要搜索的文件类型。开始位置: 指定要开始搜索的目录。...解决方案Python以下代码提供了指定目录搜索特定文本的 Python 脚本示例:import osimport re​def find_in_files(search_text, file_filter...file_filter, start_dir, report_filenames, regex_search)​for result in results: print(result)Ruby以下代码提供了指定目录搜索特定文本的...上面就是两种语实现在文件查找的具体代码,其实看着也不算太复杂,只要好好的去琢磨,遇到的问题也都轻而易举的解决,如果在使用中有任何问题,可以留言讨论。

    9210

    linux(八)linux系统查找文件

    一、grep命令   1.1、作用   Linux系统grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹 配的行打印出来。     ...1   1.4、实例     1)显示所有以d开头的文件包含test的行 ?...2)显示aa,bb,cc文件匹配test的行     $ grep ‘test’ aa bb cc     3)显示所有包含每个字符串至少有5个连续小写字符的字符串的行        $ grep...‘[a-z]\{5\}’ aa     4)查找pass和passwd.txt文件包含root的行         cat passwd passwd.txt |grep -i root      ...5)查找pass和passwd.txt文件包含root的行      grep -i root passwd passwd.txt  二、wc命令   2.1、作用 统计文件里面有多少单词,多少行

    4.4K70

    linux(七)之linux系统查找文件

    -nogroup 查找无有效所属组的文件,即该文件所属的组/etc/groups不存在。     -nouser 查找无有效属主的文件,即该文件的属主/etc/passwd不存在。     ...-depth:查找文件时,首先查找当前目录文件,然后再在其子目录查找。     ...-fstype:查找位于某一类型文件系统文件,这些文件系统类型通常可以配置文件/etc/fstab中找到,该配置文件包含了本系统中有关文件系统的信息。     ...4.2)/logs目录查找更改时间5日以前的文件并删除它们         记住:shell中用任何方式删除文件之前,应当先查看相应的文件,一定要小心!...4.3)在下面的例子, find命令在当前目录查找所有文件名以.LOG结尾、更改时间5日以上的文件,并删除它们,只不过删除之前先给出提示。

    5.6K100

    查找 Linux 文件查找命令使用完整指南

    命令行按名称、部分名称或日期查找文件的最简单方法 如果要在 Linux 系统上查找文件,find 命令可以轻松实现。您可以使用“查找”按名称、部分名称、日期、修改时间、大小等搜索文件。...如果您知道文件位于哪个目录,则可以 find 命令中指定该目录。如果没有,您可以从根 (/) 目录开始搜索整个 Linux 系统。...filename 是您要查找文件的名称。如果您知道文件的确切名称,您将完整键入它。如果没有,您可以搜索词的任何位置使用通配符。...对找到的文件执行操作 组合命令以找到文件时执行操作。可以与其他命令结合使用,以便可以对查询返回的文件执行这些命令。您还可以使用此功能来运行查找结果显示的文件。...chmod 文件搜索文本 使用该命令文件搜索文本字符串。 grep如果要查找包含特定短语或字符串的文件,可以使用该命令。

    3.4K10

    Linux文件查找命令详解

    目录 0x01 查询命令介绍 0x02 find命令介绍 0x01 查询命令介绍 介绍之前,首先先了解一个特殊变量——PATH PATH下存放着命令所在的路径,我们执行命令的时候先会在PATH变量从前到后挨个路径进行查找...locate命令 locate也能查询命令的相关路径以及帮助等,但是它不是从PATH路径中进行遍历的,它是从Linux的一个数据库mlocate.db进行查询的,mlocate.db数据库位于/var...这是由于locate进行查找mlocate.db数据库进行查找的,但是我们刚刚创建的这个文件并不在这个数据库,所以我们需要使用updatedb进行更新数据库 ?...对于find命令的使用有一个大致的公式 find 要查找的位置 [限制条件] 要查找文件名 举个例子,从根目录下寻找所有的文件包含balabala的文件 ?...-exec参数的后面跟上需要执行的command命令就可以了,最后以分号作为结束的标志,但是考虑到各个系统的分号可能会代表不同的意义,所以加上了反斜杠进行转义。

    6.4K20

    linux文件查找-find命令

    find命令:用于文件查找文件,并作出相应的处理 1、find命令的格式;          find pathname -options [-print -exec -ok ...] {}\ 2...3、find命令的选项:          -depth:查找文件时,首先查找当前目录文件,然后再在其子目录查找。         ...-name:按照文件查找          -perm:按照文件权限来查找          -prune:可用使find命令不在当前制定的目录查找,如果同时使用-depth选项,那么-prune将被...cpio命令,将文件备份到磁带设备          -mtime -n +n:按照文件的修改时间来查找,-n文件更改时间距现在n天以内,+n文件更改时间距现在n天以前          -amin...1)忽略某个目录(httpd目录下查找文件但不希望/httpd/conf目录下查找) [root@bogon etc]# find httpd -path "httpd/conf" -prune -

    8.7K30
    领券