【Python】基于文件内容的重复文件查找与管理

import os
import hashlib
from collections import defaultdict

def calculate_file_hash(file_path, hash_algorithm=hashlib.sha256):
    """
    计算文件的哈希值（默认使用 SHA256）。

    参数：
    - file_path (str): 文件的完整路径。
    - hash_algorithm: 哈希算法，默认为 hashlib.sha256。

    返回：
    - str: 文件的哈希值（十六进制字符串）。
    """
    hash_object = hash_algorithm()  # 创建哈希对象
    try:
        with open(file_path, 'rb') as f:  # 以二进制模式打开文件
            while chunk := f.read(8192):  # 按 8192 字节（8KB）分块读取文件
                hash_object.update(chunk)  # 更新哈希对象
        return hash_object.hexdigest()  # 返回哈希值（十六进制字符串）
    except (IOError, OSError):  # 捕获文件无法读取的异常
        print(f"无法读取文件: {file_path}，跳过...")
        return None  # 返回 None 以指示读取失败

def find_duplicate_files(directory):
    """
    查找指定目录及其子目录中的所有重复文件（基于文件内容）。

    参数：
    - directory (str): 要检查的目录路径。

    返回：
    - dict: 以哈希值为键，文件路径列表为值的字典，仅包含重复文件。
    """
    hashes = defaultdict(list)  # 用于存储哈希值到文件路径的映射

    for root, _, files in os.walk(directory):  # 遍历目录树
        for file in files:
            file_path = os.path.join(root, file)  # 获取完整文件路径
            file_hash = calculate_file_hash(file_path)  # 计算文件的哈希值
            if file_hash:  # 仅存储成功计算哈希的文件
                hashes[file_hash].append(file_path)

    # 过滤掉哈希值只对应一个文件的项，仅保留重复文件
    return {hash_val: paths for hash_val, paths in hashes.items() if len(paths) > 1}

def delete_files(file_paths):
    """
    删除用户选择的重复文件，并提供保留选项。

    参数：
    - file_paths (list): 具有相同内容的重复文件路径列表。
    """
    if len(file_paths) < 2:
        return  # 如果列表中少于两个文件，则无需删除

    print("\n发现重复文件:")
    for i, path in enumerate(file_paths, start=1):
        print(f"{i}. {path}")

    # 让用户选择如何处理重复文件
    choice = input("请选择操作:\n1. 保留一个文件并删除其他\n2. 删除所有重复文件\n3. 跳过\n输入编号: ")

    if choice == &#039;1&#039;:  # 选择保留一个文件
        keep_index = int(input("请输入要保留的文件编号: ")) - 1
        if 0 <= keep_index < len(file_paths):  # 确保输入编号有效
            keep_path = file_paths.pop(keep_index)  # 取出用户选择保留的文件路径
            print(f"保留文件: {keep_path}")
            for path in file_paths:  # 删除其他文件
                os.remove(path)
                print(f"已删除: {path}")
        else:
            print("无效的选择，跳过删除操作。")
    
    elif choice == &#039;2&#039;:  # 选择删除所有重复文件
        for path in file_paths:
            os.remove(path)
            print(f"已删除: {path}")
    
    else:  # 选择跳过
        print("跳过删除操作。")

def main():
    """
    主函数：获取用户输入目录，查找并处理重复文件。
    """
    directory = input("请输入要查找的目录路径: ").strip()

    if not os.path.isdir(directory):  # 检查输入路径是否为有效目录
        print("无效的目录路径，请重新输入。")
        return

    print("\n正在扫描目录，查找重复文件...")
    duplicates = find_duplicate_files(directory)  # 查找重复文件

    if not duplicates:  # 如果未找到重复文件
        print("未找到重复文件。")
        return

    # 遍历重复文件列表，逐组处理
    for _, file_paths in duplicates.items():
        delete_files(file_paths)

if __name__ == "__main__":
    main()  # 运行主函数