首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Rdfind - Linux查找重复文件

背景 前段时间遇到一个问题,服务器下面一个文件夹下面的图片越来越多,由原来的5G,达到了现在的94G,其中这个文件夹下面有好多重复的图片,文件多了之后造成图片备份困难,图片迁移困难,浪费了大量的空间和IO...本文中将介绍rdfind命令工具linux查找和删除重复的文件,使用之前请先在测试环境跑通并对测试环境进行严格的测试,测试通过之后再在生产环境进行操作,以免造成重要文件的丢失,数据是无价的。...Rdfind来自冗余数据查找,用于多个目录或者多个文件查找重复的文件,它使用校对和并根据文件查找重复项不仅包含名称。 Rdfind使用算法对文件进行分类,并检测那些是重复文件,那些是文件副本。...root@ds Image]# drfind /Image/ [root@ds Image]# Rdfind 命令将扫描 /Image 目录,并将结果存储到当前工作目录下一个名为 results.txt 的文件...你可以 results.txt 文件中看到可能是重复文件的名字。 通过检查 results.txt 文件,你可以很容易的找到那些重复文件。如果愿意你可以手动的删除它们。

5.1K60
您找到你想要的搜索结果了吗?
是的
没有找到

Linux里如何查找文件内容

Linux查找文件内容的常用命令方法。  ...从文件内容查找匹配指定字符串的行: $ grep "被查找的字符串" 文件名 例子:在当前目录里第一级文件寻找包含指定字符串的.in文件 grep "thermcontact" */*.in...从文件内容查找与正则表达式匹配的行: $ grep –e “正则表达式” 文件查找时不区分大小写: $ grep –i "被查找的字符串" 文件查找匹配的行数: $ grep -c "被查找的字符串..." 文件名 从文件内容查找不匹配指定字符串的行: $ grep –v "被查找的字符串" 文件名 从根目录开始查找所有扩展名为.log的文本文件,并找出包含”ERROR”的行 find / -type...f -name "*.log" | xargs grep "ERROR" 例子:从当前目录开始查找所有扩展名为.in的文本文件,并找出包含”thermcontact”的行 find .

4.6K30

Linux里如何查找文件内容

Linux查找文件内容的常用命令方法。  ...从文件内容查找匹配指定字符串的行: $ grep "被查找的字符串" 文件名 例子:在当前目录里第一级文件寻找包含指定字符串的.in文件 grep "thermcontact" */*.in 从文件内容查找与正则表达式匹配的行...: $ grep –e “正则表达式” 文件查找时不区分大小写: $ grep –i "被查找的字符串" 文件查找匹配的行数: $ grep -c "被查找的字符串" 文件名 从文件内容查找不匹配指定字符串的行...: $ grep –v "被查找的字符串" 文件名 从根目录开始查找所有扩展名为.log的文本文件,并找出包含”ERROR”的行 find / -type f -name "*.log" | xargs...grep "ERROR" 例子:从当前目录开始查找所有扩展名为.in的文本文件,并找出包含”thermcontact”的行 find .

7.9K40

Linux下在文件夹所有文件查找相关内容

先导 本文是为了记录在编程中进行一些文件查找某些关键字进行配置时查找文件过于麻烦的解决办法 Linux开发中使用一些命令或者命令的配合进行查找文件内容及匹配关键词还是比较方便的。...使用grep grep是使用Linux时经常会用到的一个命令了,这个命令平时大都主要用来进行对一段输出的关键字定位,但是这个命令也可以通过使用某些参数来达到文件文件内容遍历的效果 命令原型 grep...-nr "str" path 参数说明 grep: 就是grep命令 -nr: n是line number行号,r是recursive,可以理解为遍历文件文件夹 “str”: 双引号里面的str就是要查找内容...那么,如果使用find来循环查找文件,使用他输出的文件名作为参数给xargs,xargs再将文件名作为grep的参数输入,使用grep来查找文件内容进行定位不久可以实现文件内容查找了吗 命令原型 find...,如果文件夹内的文件较少,可以使用第一种方法,方便快捷;但是如果文件很多的情况下为了节省查找时间,可以使用第二种方法,能够较为快速地查找到想要的内容

33.4K20

linux必学的文件内容查找命令

linux环境下,我们经常要查找一个文件或者文件内容,但搜索的命令有很多,这些命令都有什么区别,应该怎么选择和使用呢? 下面总结了一些常见的文件查找内容查找的命令,收藏起来备用吧。...常用参数 -b :查找可执行文件 -m :查找man路径下的帮助文件 -s :查找源代码文件 whereis pwd #查找pwd命令的相关文件 whereis -m pwd #查找pwd命令的帮助文件...locate 从linux内置的索引数据库/var/lib/mlocate/mlocate.db查找文件,查询速度超快,但是新建的文件可能需要一定时间才能加入该索引数据库,可以执行updatedb命令强制更新一次索引...内容查找 grep grep是linux系统一个强大的文本搜索工具,可以从文本文件或者管道数据流筛选匹配的行或者数据。可以使用字符串或者正则表达式匹配。..." cpuinfo # 输出文件包含cpu的行及行号 grep -c "cpu" cpuinfo # 输出文件匹配cpu字符串的数量 grep -o "cpu" cpuinfo # 只输出匹配的内容

2.9K30

linux下的find文件查找命令与grep文件内容查找命令

使用linux时,经常需要进行文件查找。其中查找的命令主要有find和grep。两个命令是有区的。...(2)grep是根据文件内容进行查找,会对文件的每一行按照给定的模式(patter)进行匹配查找。...access time)    (2)find / -atime -2   # 查找系统中最后48小时访问的文件    (3)find / -empty   # 查找系统为空的文件或者文件夹...   (4)find / -group cat   # 查找系统属于 group为cat的文件    (5)find / -mmin -5   # 查找系统中最后5分钟里修改过的文件(modify...time)    (6)find / -mtime -1   #查找系统中最后24小时里修改过的文件    (7)find / -user fred   #查找系统属于fred这个用户的文件

5K40

linux查找文件

随着时间的推移,您的磁盘驱动器可能会被大文件占用大量磁盘空间,不必要文件弄得乱七八糟。通常是因为大型日志文件或备份文件,导致Linux系统的磁盘空间不足。...本教程介绍如何使用find和du命令Linux系统查找最大的文件和目录。 使用find命令查找文件 find命令是Linux系统管理员工具库中最强大的工具之一。...它允许您根据不同的标准(包括文件大小)搜索文件和目录。 例如,如果在当前工作目录要搜索大小超过100MB的文件,请使用以下命令: sudo find ....-xdev -type f -size +100M -print 仅搜索当前工作目录(.)文件(-type f),大于100MB(-size +100M),不要查找其他文件系统上的目录(-xdev...例如,您可以搜索超过多少天的大文件,具有特定扩展名的大文件或属于特定用户的大文件。 使用du命令查找文件和目录 du命令用于估计文件空间使用情况,对于查找占用大量磁盘空间的目录和文件特别有用。

8.5K10

linux查找文件指定内容的实现方法

linux有时候会遇到文件很大,关键字查找都要超过整屏,无法查看到所有内容。...比如一个非常大的日志文件info.log,我们要查看某段字符所有日志,可以同 cat info.log | grep ‘1711178968′ ,如果显示过多,此时可以加时间,行数控制。...cat info.log | grep ‘1711178968’ >> temp.log 将中间结果暂存下来,通过more ,less等工具一页页查看temp.log文件 如果是明确一定时间范围的日志还是可以根据时间截取日志...// 截取一定时段的日志 sed -n '/2018-10-25 17:30:41/,/2018-10-25 21:47:02/p' root.2018-10-25.log > update.log 25...然后 /${关键字} 搜索,比如 /1711178968 ,n下一条,b上一条 以上这篇linux查找文件指定内容的实现方法就是小编分享给大家的全部内容了,希望能给大家一个参考。

4.2K10

Linux文件查找技巧

前言 Linux常用命令,有些命令可以帮助我们查找二进制文件,帮助手册或源文件的位置,也有的命令可以帮助我们查找磁盘上的任意文件,今天我们就来看看这些命令如何使用。...which which命令会在PATH变量指定的路径,搜索某个系统命令的位置。...例如: which -a which #查看命令which所在位置,-a参数表示找出所有 /usr/bin/which /bin/which PATH变量有哪些内容呢?...终端敲入一个命令,但是PATH包含的路径下没有时并且也不是内置命令时,就会提示:command not found。...find find命令是linux下一个强大的查找命令。与locate命令相比,它需要遍历磁盘文件,因此查找速度较慢,但正因如此,它的实时性比locate好得多。

5.5K10

使用xShell如何搜索查找Linux日志文件里面内容

正文:Linux系统中使用xShell如何搜索查找文件里面的内容查找问题、系统维护当中最常见的需求。...搜索、查找文件当中的内容,一般最常用的是grep命令,另外还有egrep, vi命令也能搜索文件里面内容 假如是非压缩包文件,可以用grep命令去搜索,例如: grep –i “被查找的字符串” 文件名..., 例如在invest.appLog文件搜索“9648345” grep 9648345 invest.appLog grep "9648345" invest.appLog 被查找内容会被标红...filenamen grep "search content" *.sql 3:如果需要显示搜索文本文件的行数,可以使用参数-n grep -n "9648345" invest.appLog...(会返回包含查找内容的总行数) $ grep -c “被查找的字符串” 文件名 grep -c "" invest.appLog

20010

如何在 Linux 查找文件

Linux 系统,有时候我们需要查找并识别占用大量磁盘空间的文件。这些大文件可能导致磁盘空间不足或性能下降。本文将详细介绍 Linux 中使用不同的命令和工具来查找文件的方法。图片1....使用 find 命令find 命令是一个功能强大的工具,可以用于文件系统搜索和查找文件。结合 -size 选项,我们可以使用 find 命令来查找指定大小的文件。...目录查找大于 100 MB 的文件。...然后,根据文件大小进行降序排序,并显示最大的 10 个文件。6. 使用图形化工具除了命令行工具,Linux 还提供了一些图形化工具来帮助您查找文件。...结论 Linux ,有多种方法可以查找文件。您可以使用 find 命令、du 命令、ncdu 命令或 ls 命令来查找和显示文件的大小。

15K31

Linux如何查找最大的10个文件方法汇总

本教程,我们将教您如何使用以下四种方法 Linux 系统查找最大的前 10 个文件。 方法 1 Linux 没有特定的命令可以直接执行此操作,因此我们需要将多个命令结合使用。.../:整个系统(从根目录开始)查找 -type:指定文件类型 f:普通文件 -print0:标准输出显示完整的文件名,其后跟一个空字符(null) |:控制操作符,将一条命令的输出传递给下一个命令以供进一步处理...:输出文件开头部分的命令 n -10:打印前 10 个文件 方法 3 这里介绍另一种 Linux 系统搜索最大的前 10 个文件的方法。...:仅显示每个参数的总和 -h:用可读格式打印输出 {}:递归地查找目录,统计每个文件占用的磁盘空间 方法 4 还有一种 Linux 系统查找最大的前 10 个文件的方法。.../:整个系统(从根目录开始)查找 -type:指定文件类型 f:普通文件 -ls:标准输出以 ls -dils 的格式列出当前文件 |:控制操作符,将一条命令的输出传递给下一个命令以供进一步处理

7.9K31

Linux查找文件方法

Linux的四种查找文件方法 ? 一、which which命令的作用是,PATH变量指定的路径,搜索某个系统命令的位置,并且返回第一个搜索结果。 也就是说它返回的是你该命令所处的位置。...上面说了locate是一个库里查找文件,因此对于一些有新变动的文件,而你的库还没更新时,这些文件你是用locate找不到的,这时find就派上用场了,它可是从硬盘里一个一个进行查找的,正因为这样它的速度也会相当慢...,-n指n天以内,+n指n天以前 -nogroup #查无有效属组的文件,即文件的属组/etc/groups不存在 -nouser...#查无有效属主的文件,即文件的属主/etc/passwd不存在 -ctime -n +n #按文件创建时间来查找文件,-n指n天以内,+n指n天以前 -nogroup...#查无有效属组的文件,即文件的属组/etc/groups不存在 -nouser #查无有效属主的文件,即文件的属主

6.2K10
领券