首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Rdfind - Linux查找重复文件

背景 前段时间遇到一个问题,服务器下面一个文件夹下面的图片越来越多,由原来的5G,达到了现在的94G,其中这个文件夹下面有好多重复的图片,文件多了之后造成图片备份困难,图片迁移困难,浪费了大量的空间和IO...本文中将介绍rdfind命令工具linux查找和删除重复的文件,使用之前请先在测试环境跑通并对测试环境进行严格的测试,测试通过之后再在生产环境进行操作,以免造成重要文件的丢失,数据是无价的。...Rdfind来自冗余数据查找,用于多个目录或者多个文件查找重复的文件,它使用校对和并根据文件查找重复项不仅包含名称。 Rdfind使用算法对文件进行分类,并检测那些是重复文件,那些是文件副本。...root@ds Image]# drfind /Image/ [root@ds Image]# Rdfind 命令将扫描 /Image 目录,并将结果存储到当前工作目录下一个名为 results.txt 的文件...你可以 results.txt 文件中看到可能是重复文件的名字。 通过检查 results.txt 文件,你可以很容易的找到那些重复文件。如果愿意你可以手动的删除它们。

5.1K60
您找到你想要的搜索结果了吗?
是的
没有找到

使用 Ruby 或 Python 文件查找

对于经常使用爬虫的我来说,大多数文本编辑器都会有“文件查找”功能,主要是方便快捷的查找自己说需要的内容,那我有咩有可能用Ruby 或 Python实现类似的查找功能?这些功能又能怎么实现?...问题背景许多流行的文本编辑器都具有“文件查找”功能,该功能可以一个对话框打开,其中包含以下选项:查找: 指定要查找的文本。文件筛选器: 指定要搜索的文件类型。开始位置: 指定要开始搜索的目录。...解决方案Python以下代码提供了指定目录搜索特定文本的 Python 脚本示例:import osimport re​def find_in_files(search_text, file_filter...file_filter, start_dir, report_filenames, regex_search)​for result in results: print(result)Ruby以下代码提供了指定目录搜索特定文本的...上面就是两种语实现在文件查找的具体代码,其实看着也不算太复杂,只要好好的去琢磨,遇到的问题也都轻而易举的解决,如果在使用中有任何问题,可以留言讨论。

6710

Linux 实时监控日志文件

当你在你的 Linux 桌面、服务器或任何应用遇到问题时,你会首先查看各自的日志文件日志文件通常是来自应用的文本和信息流,上面有一个时间戳。它可以帮助你缩小具体的实例,并帮助你找到任何问题的原因。...一般来说,所有的日志文件都位于 /var/log 。这个目录包含以 .log 为扩展名的特定应用、服务的日志文件,它还包含单独的其他目录,这些目录包含其日志文件。.../log/dmesg 如果你想监控 http 或 sftp 或任何服务器,你也可以在这个命令监控它们各自的日志文件。...使用 lnav(日志文件浏览器) lnav Running lnav 是一个很好的工具,你可以用它来通过彩色编码的信息以更有条理的方式监控日志文件 Linux 系统,它不是默认安装的。...使用 lnav,你可以通过 SQL 查询日志文件,以及其他很酷的功能,你可以它的 官方网站 上了解。

2.5K40

Linux-指定文件类型递归查找到目标字符串

当前目录 ---- 按文件查找: -name: 查找文件名大小写敏感。 -iname: 查找文件名大小写不敏感 ---- ‘*.conf’ 文件类型。...比如这里查询的是.conf类型的文件,要查找 xml结尾的 *.xml等等….. ---- xargs命令: 该命令的主要功能是从输入构建和执行shell命令 使用find命令的-exec选项处理匹配到的文件时...但有些系统对能够传递给exec的命令长度有限制,这样find命令运行几分钟之后,就会出现溢出错误。错误信息通常是“参数列太长”或“参数列溢出”。...在有些系统,使用-exec选项会为处理每一个匹配到的文件而发起一个相应的进程,并非将匹配到的文件全部作为参数一次执行;这样在有些情况下就会出现进程过多,系统性能下降的问题,因而效率不高; 而使用xargs...另外,使用xargs命令时,究竟是一次获取所有的参数,还是分批取得参数,以及每一次获取参数的数目都会根据该命令的选项及系统内核相应的可调参数来确定。

1.8K50

vim和vi查找和替换字符串

Vim查找和替换文本非常容易。 基本查找和替换 Vim,可以使用:substitute(:s)命令来查找和替换文本。...例如,要在当前行搜索字符串 foo的第一个匹配项,并将其替换为 bar,则可以使用: :s/foo/bar/ 要替换当前行中所有出现的搜索模式,请添加g标志: :s/foo/bar/g 如果要搜索并替换整个文件的所有匹配的模式...此字符表示从文件的第一行到最后一行的范围: :%s/foo/bar/g 如果省略{string}部分,则将其视为空字符串,并删除匹配的模式。...当你搜索模式包含 /字符或替换字符串时,此选项很有用。....,+4s/foo/bar/g 替换整个单词 替代命令将模式查找字符串,而不是整个单词。

11.2K21

系统查找重复文件(哈希)

题目 给定一个目录信息列表,包括目录路径,以及该目录的所有包含内容的文件,您需要找到文件系统的所有重复文件组的路径。 一组重复的文件至少包括二个具有完全相同内容的文件。...输入列表的单个目录信息字符串的格式如下: "root/d1/d2/......文件路径是具有下列格式的字符串: "directory_path/file_name.txt" 示例 1: 输入: ["root/a 1.txt(abcd) 2.txt(efgh)", "root/c...您可以假设目录名、文件名和文件内容只有字母和数字,并且文件内容的长度 [1,50] 的范围内。 给定的文件数量 [1,20000] 个范围内。...您可以假设在同一目录没有任何文件或目录共享相同的名称。 您可以假设每个给定的目录信息代表一个唯一的目录。目录路径和文件信息用一个空格分隔。

1.4K10

字符串查找子串_cstring查找字符串

我们字符串 A 查找字符串 B,则 A 就是主串,B 就是模式串。我们把主串的长度记为 n,模式串长度记为 m。由于是主串查找模式串,因此,主串的长度肯定比模式串长,n>m。...如果发现一个不等的字符,则重新回到前面的步骤查找 s 是否有字符与 t 的第一个字符相等。 如下图所示,s 的第1 个字符和 t 的第 1 个字符相等,则开始匹配后续。...字符串匹配算法的案例 最后我们给出一道面试中常见的高频题目,这也是对字符串匹配算法进行拓展,从而衍生出的问题,即查找出两个字符串的最大公共字串。...由于字符串 “345” 同时 a 和 b 中出现,且是同时出现在 a 和 b 的最长子串。因此输出 “345”。...首先,你需要对于字符串 a 和 b 找到第一个共同出现的字符,这跟前面讲到的匹配算法主串查找第一个模式串字符一样。

2.9K30

Oracle,如何定时删除归档日志文件

1、Oracle用户下,创建归档日志删除文件del_OCPLHR1_arch.sh 文件位置:/home/oracle/crontabOra,内容如下: #!...archivelog all completed before 'sysdate-6'; exit; EOF 2、赋可执行权限 chmod +x del_OCPLHR1_arch.sh 3、设定定时任务,Oracle...用户下,编辑配置文件 crontab -e 配置文件内容(每天下午5点执行删除任务): 0 17 * * * /home/oracle/crontabOra/del_OCPLHR1_arch.sh 确保..................................................................● 本文作者:小麦苗,部分内容整理自网络,若有侵权请联系小麦苗删除● 本文itpub...weixin群:可加我weixin,我拉大家进群,非诚勿扰● 联系我请加QQ好友 ( 646634621 ) ,注明添加缘由● 于 2018-11-01 06:00 ~ 2018-11-31 24:00 魔都完成

3.2K10

如何使用LinkFinderJavaScript文件查找网络节点

关于LinkFinder LinkFinder是一款功能强大的Python脚本,该工具的帮助下,广大研究人员可以轻松JavaScript文件中发现和扫描网络节点及其相关参数。...这样一来,渗透测试人员和漏洞猎人将能够快速测试的目标网站伤收集新的隐藏节点了。...-d --domain 分析整个域时使用,可以切换并枚举所有找到的JS文件 -b --burp 当Burp结果文件包含多个JS文件时,可以切换使用 -c --cookies 向请求添加Cookie...-h --help 显示工具帮助信息和退出 工具运行样例 在线上JavaScript文件查找网络节点,并将结果输出到results.html文件: python linkfinder.py...JavaScript文件,搜索以/api/开头的网络节点,并将结果存储到results.html文件: python linkfinder.py -i 'Desktop/*.js' -r ^/api/

24450

Oracle,如何定时删除归档日志文件

♣ 题目部分 Oracle,如何定时删除归档日志文件?...答案部分    对于单实例的数据库可以使用如下的脚本: 1、Oracle用户下,创建归档日志删除文件del_OCPLHR1_arch.sh 文件位置:/home/oracle/crontabOra,...用户下,编辑配置文件 crontab -e 配置文件内容(每天下午5点执行删除任务): 0 17 * * * /home/oracle/crontabOra/del_OCPLHR1_arch.sh 确保...EOF crosscheck archivelog all; delete noprompt expired archivelog all; @${SQL_NAME} exit; EOF 一.主库或备库查询哪些归档日志已经应用到备库...b.DESTINATION IS NOT NULL) AND A.COMPLETION_TIME <= SYSDATE - 3 ORDER BY A.THREAD#, A.SEQUENCE#; ---备库查询归档日志的应用情况

1.9K10
领券