快速入门|Python DataFrame +正则表达式处理数据实例一则

需求：

提取三个版本的程序testing log中的test case名和测试结果，并对比不同版本程序的每一个case的结果，再计算每个test case在三个版本中的失败率。

一. 提取各测试版本的测试结果并生成相应DataFrame：

1. 用Python提取所有CSV文件中的初始log并合并成一个string

   log_content = ""
    for path in log_paths:
        with open(path) as f:
            log_content = log_content + f.read()

2. 通过re模块来使用正则表达式提取string中的数据

//不熟悉如何写正则表达式的参考我的上一篇文章
注意方法括号内的语法为【r"你的正则表达式"】
re.compile()方法生成一个正则表达式对象，调用此对象的方法.findall()，输入待处理的string，得到所有匹配结果。返回值类型为list，例：Output: ['123456789', '987654321']
若你的正则表达式有多个capture group，则为list包括的tuple。

findall

log_extract_pattern = re.compile(r'Music;\d+;(test_.*?);(?:.|\s)*?(FAILED|PASSED)')
log_result = log_extract_pattern.findall(log_content) # return a list of all matches

3. 使用pandas的DataFrame类来处理并输出数据

直接用list创建DataFrame对象，参数为list和你给出的列名，在这里‘case’为第一列的列名，第二列列名通过传入的变量version确定

 log_df = pd.DataFrame(log_result,columns=['case',version])

得到结果类如表格

DataFrame

4. 使用DataFrame的drop_duplicates()去重

log_df.drop_duplicates(keep ='first', inplace = True)

5. 以上步骤结合一起即可完成【读取-生成各版本testing DataFrame】的方法，参数为初始log路径和程序版本号。

def extract(log_paths, version):
    log_content = ""
    for path in log_paths:
        with open(path) as f:
            log_content = log_content + f.read()

    log_extract_pattern = re.compile(r'Music;\d+;(test_.*?);(?:.|\s)*?(FAILED|PASSED)')
    log_result = log_extract_pattern.findall(log_content) # return a list of all matches

    log_df = pd.DataFrame(log_result,columns=['case',version])
  
    print("df",log_df)
    # remove duplicates
    log_df.drop_duplicates(keep ='first', inplace = True)
    return log_df

二.合并各版本测试结果，并计算统计数据

1. 将各版本的测试结果放入一个列表 dfs[]中，遍历此list，调用df的.set_index()方法把所有df的index更改为'case'列

因为程序testcase的ID本身就是唯一的，用作index方便join，所以我们不再需要默认的数字index

2. 遍历此list，将所有df以testcase为index结合成一张总表

使用df的.join()方法，将所有版本的df在'case'列，也就是我们的index列进行left join
最后，我们返回dfs[0]，也就是完成全部左交后的总结果。

def join_df(dfs):
    dfs = [df.set_index('case') for df in dfs]

    for i in range(0,len(dfs)-1):
        dfs[0] = dfs[0].join(dfs[i+1])
    return dfs[0]

3. 统计case各个版本的结果，并计算失败率，将最终结果以CSV格式保存

def count_p(row):
    c = 0
    for item in row:
        if item == 'PASSED':
            c +=1
    return c

def count_f(row):
    c = 0
    for item in row:
        if item == 'FAILED':
            c +=1
    return c

def rate(row):
    f = float(row[-1])
    p = float(row[-2])
    return f/(f+p)

def add_statistic(stdata):
    stdata['Pass count'] = stdata.apply(func=lambda row: count_p(row), axis=1)
    stdata['Fail count'] = stdata.apply(func=lambda row: count_f(row), axis=1)
    stdata['Fail rate']  = stdata.apply(func=lambda row: rate(row), axis=1)


dfs = [df1, df2, df3]
stdata = join_df(dfs)
add_statistic(stdata)
print(stdata)
stdata.to_csv("/statistic_result_test.csv",index=True)

输出结果如下：

输出结果

最后编辑于：2020.01.28 23:17:01