使用Python查找目录中的重复文件

是这样的,电脑上的堆积的照片有点多,而且重复的照片被放在了不同的目录,占用的空间越来越大,数量也有多的已经不太适合人工分辨整理,写个Python脚本来处理吧。

文件的唯一标识 - MD5

假如你要处理的重复文件有不同的文件名,最简单的办法就是通过MD5来确定两个文件是不是一样的。

这个方法可以快速获得一个文件的MD5值, 可以根据文件大小和CPU性能调整,一般选择的值约等于文件的平均大小。

保存所有文件标识和路径

接下来遍历所有文件,使用MD5作为key,路径作为value,保存起来。

处理重复文件

最后一步非常简单,把前面建立的字典做一个简单的过滤就能找到重复文件。

接下来你可以根据自己的需要删除或者保留某个路径下的文件,本文到此为止。

完整的脚本代码: https://gist.github.com/tobyqin/9299d27bdb429ffaa7713ed760a44fbb

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180322G1TSJZ00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券