Python【习题】查找指定目录下重复文件并打印出来

人生苦短，我用Python

环境：Windows 10 64-bit, python == 3.6.4 , PyCharm CE == 2018.1

题目：

在一个很大的MP3 文件集合中，或许会有同一首歌的不同拷贝，它们存
放在不同的目录下或者有不同的名字。这个练习的目的是检索出这些拷贝。

这是 Think Python：How to Think Like a Computer Scientist-2nd 书中的习题。

分析：

1、定义一个函数 walk(dirname)，以绝对路径，输出指定目录下所有文件以及子文件夹下的文件。

def walk(dirname):
    '''
    以绝对路径，用列表输出指定目录下的所有文件，以及子文件夹下的文件。
    
    '''
    names = []
    for name in os.listdir(dirname):
        # os.listdir() Return a list containing the names of the entries in the directory given by path.

        path = os.path.join(dirname, name)
        # os.path.join() Join one or more path components intelligently

        if os.path.isfile(path):
            # os.path.isfile() Return True if path is an existing regular file.判断是否为文件
            names.append(path)
        else:
            names.extend(walk(path)) # list.extend()

    return names    # 返回指定文件下所有文件的列表

2、定义一个函数 find_suffix_file(dirname, suffix)，用后缀名筛选出指定格式的文件，如.mp3 或 .pdf。

def find_suffix_file(dirname, suffix):

    '''
    以列表输出指定后缀名的文件。
    '''
    target_files = []
    
    names = walk(dirname) # 调用自定义函数walk()
    
    for name in names:
        
        if name.endswith(suffix):
            target_files.append(name)
            
    return target_files     # 返回目标文件列表

3、如果两个文件的MD5值相同，则说明这两个文件很有可能是相同的。
定义一个函数 compute_md5(filename)，来计算每个文件的MD5值。

注意：这里filename 为文件的绝对路径，如若路径中含有空格，要用英文双引号括起来，不然的话会报错 CertUtil: 参数太多。

def compute_md5(filename):

    '''
    compute the MD5 value of the file
    '''
    # 构建命令行 命令

    cmd = 'certutil -hashfile "' + filename + '" MD5'

    # 注意：命令构建时，由于文件路径中含有空格，命令行执行时会将空格识别为分隔符，
    # 误识别为多个参数，从而报错 " CertUtil: 参数太多 "。
    # 所以要将文件路径包含在双引号""内。
    
    result = call_cmd(cmd)  # 调用CMD，计算MD5值
    
    file_md5 = tuple(result.split('\n'))[1] # 解析读取的内容

    return file_md5     # 返回文件的MD5值

4、由于本练习是在Windows环境下写的，所以使用 certutil -hashfile + filename + MD5 命令来计算（Linux下的md5sum命令）。

构建调用系统CMD的函数 call_cmd(cmd)：

def call_cmd(cmd):

    '''
    windows下文件MD5等校验：(LINUX 下，使用md5sum命令)

    certutil -hashfile 路径/file.exe MD5

    certutil -hashfile 路径/file.exe SHA1

    certutil -hashfile 路径/file.exe SHA256
    
    '''

    fp = os.popen(cmd)  # Python下调用系统命令行，返回一个文件对象
    # Open a pipe to or from command cmd.
    # The return value is an open file object connected to the pipe,
    # which can be read or written depending on whether mode is 'r' (default) or 'w'.

    result = fp.read() # 读取命令行执行的返回的内容

    state = fp.close()   # 关闭文件对象
    
    assert state is None     # 断言文件对象是否关闭

    return result   # 返回命令行计算的结果

注：这里3和4是将调用与计算分开的，也可以写成一个函数。

5、有了MD5值，就可以比较每个文件的MD5值，找出相同的文件，并打印出来。
定义一个函数check_file(dirname, suffix)，查找出相同的文件：

def check_file(dirname, suffix):

    d = {} # 创建空字典。将md5_value作为key, file 作为value.
    
    target_files = find_suffix_file(dirname, suffix)

    for file in target_files:

        md5_value = compute_md5(file)   # 计算md5_value

        if md5_value in d:  # 

            d[md5_value].append(file)   # 以列表的形式收集相同MD5值的file
        else:
            d[md5_value] = [file]
        
    for md5_value, file in d.items():

        if len(file)>1:     # 如果大于1，说明很可能有不同文件名的重复文件。

            print(file)     # 此处file是收集重复文件的列表

以上是几个需要完成的主要函数，并附有注释。

参考作者的代码完成，附链接
（http://greenteapress.com/thinkpython2/code/find_duplicates.py）
附完整的代码：

# coding:utf-8

import os


def walk(dirname):
    '''
    以绝对路径，用列表输出指定目录下的所有文件，以及子文件夹下的文件。
    
    '''
    names = []
    for name in os.listdir(dirname):
        # os.listdir() Return a list containing the names of the entries in the directory given by path.

        path = os.path.join(dirname, name)
        # os.path.join() Join one or more path components intelligently

        if os.path.isfile(path):
            # os.path.isfile() Return True if path is an existing regular file.判断是否为文件
            names.append(path)
        else:
            names.extend(walk(path)) # list.extend()

    return names    # 返回指定文件下所有文件的列表

def find_suffix_file(dirname, suffix):

    '''
    以列表输出指定后缀名的文件。
    '''
    target_files = []
    
    names = walk(dirname) # 调用自定义函数walk()
    
    for name in names:
        
        if name.endswith(suffix):
            target_files.append(name)
            
    return target_files     # 返回目标文件列表

def call_cmd(cmd):

    '''
    windows下文件MD5等校验：(LINUX 下，使用md5sum命令)

    certutil -hashfile 路径/file.exe MD5

    certutil -hashfile 路径/file.exe SHA1

    certutil -hashfile 路径/file.exe SHA256
    
    '''

    fp = os.popen(cmd)  # Python下调用系统命令行，返回一个文件对象
    # Open a pipe to or from command cmd.
    # The return value is an open file object connected to the pipe,
    # which can be read or written depending on whether mode is 'r' (default) or 'w'.

    result = fp.read() # 读取命令行执行的返回的内容

    state = fp.close()   # 关闭文件对象
    
    assert state is None     # 断言文件对象是否关闭

    return result   # 返回命令行计算的结果

def compute_md5(filename):

    '''
    compute the MD5 value of the file
    '''

    # 构建命令行 命令
    
    cmd = 'certutil -hashfile "' + filename + '" MD5'

    # 注意：命令构建时，由于文件路径中含有空格，命令行执行时会将空格识别为分隔符，
    # 误识别为多个参数，从而报错 " CertUtil: 参数太多 "。
    # 所以要将文件路径包含在双引号""内。
    
    result = call_cmd(cmd)  # 调用CMD，计算MD5值
    
    file_md5 = tuple(result.split('\n'))[1] # 解析读取的内容，

    return file_md5     # 返回文件的MD5值
    
def check_file(dirname, suffix):

    d = {} # 创建空字典。将md5_value作为key, file 作为value.
    
    target_files = find_suffix_file(dirname, suffix)

    for file in target_files:

        md5_value = compute_md5(file)   # 计算md5_value

        if md5_value in d:  # 

            d[md5_value].append(file)   # 以列表的形式收集相同MD5值的file
        else:
            d[md5_value] = [file]

    for md5_value, file in d.items():

        if len(file)>1:     # 如果大于1，说明很可能有不同文件名的重复文件。

            print(file)     # 此处file是收集重复文件的列表

if __name__ == '__main__':

    # 注：指定目录下，文件路径中含有空格时会报错 AssertionError

    dirname = r'D:\CloudMusic'   #注意 Windows下路径的写法

    suffix = '.mp3'

    check_file(dirname, suffix)

Python【习题】查找指定目录下重复文件并打印出来

题目：

分析：

推荐阅读更多精彩内容