十行python代码实现文件去重，去除重复文件的脚本

'''导入依赖'''

from pathlib import Path

import filecmp

filecmp.cmp(path1, path2, shallow=True)

# 初始化文件路径列表
path_files_list = []

# 遍历
for path in Path(r'/usr/load/data').iterdir():

    # 校验是否为文件
    if path.is_file():
        # 加入到待去重文件列表
        path_files_list.append(path)

# 遍历待去重文件
for file_index in range(len(path_files_list) - 1):

    # 遍历，两辆比对
    for later in range(file_index + 1, len(path_files_list)):

        # 校验内容是否相同
        if filecmp.cmp(path_files_list[file_index], 
path_files_list[later], shallow=False):

            # 内容相同、则删除
            path_files_list[file_index].unlink()
            break