Python脚本：通过关键词匹配日志

运维工程师在日常工作中，一般可以通过日志管理系统，定时检查网络和安全各类相关系统的日志文件。然而一旦出现故障，我们会被要求检查海量的日志文件，进而定位事件发生经过。

此时，首先通过关键词自动匹配日志，再检查匹配到的日志的方式可以减少一定工作量。

批处理方式进行关键词分类文件

在Windows操作系统上，批处理程序不需要安装任何脚本，不需要通过命令等调用，直接双击就可自动处理，非常方便。

1. 搜集关键字，并写入文本文件

# 新建关键字.txt，并写入error和shutdown
@echo off
echo error >> 关键字.txt
echo shutdown >>关键字.txt

2. 逐个文件对比，是否存在关键字，并列出

for /f "tokens=1,1-2 delims= " %%i in (20190818.log) do (
for /f "tokens=1,1-2 delimw= " %%j in (关键词.txt) do (
if %%i == %%j echo(%%m  %%j>>result.txt))
)

然而可以看出，批处理在字符串的操作上很不便利，导致匹配不精确，需要手动操作的情况时有发生，Python脚本可以有效解决这些问题。

Python方式进行关键词匹配日志文件

1. 遍历日志文件

# 返回日志文件列表
def allPath(dirname):
    result = []#所有的文件
    for maindir, subdir, file_name_list in os.walk(dirname):
        print("1:",maindir) #当前主目录
        print("2:",subdir) #当前主目录下的所有目录
        print("3:",file_name_list)  #当前主目录下的所有文件
        for filename in file_name_list:
            apath = os.path.join(maindir, filename)#合并成一个完整路径
            result.append(apath)
    return result

2. 读入关键词

# 把关键词写入列表
def wrKeywords(*keywords):
    keywordsList = []# 所有的关键词
    for str in keywords:
        li = str + '\n'
        keywordsList.append(li)
    return keywordsList

3. 按关键词分类日志

def classLog(logName, keywordsList):
    fi = [] # 匹配到的文件列表
    for name in logName:
        with open(name, 'r', encoding='utf-8') as f: 
            t = f.read()   # 读取文件
            for key in keywordsList:
                if key in t:
                    fi.append(name)
                    continue
    
    return fi

4. 运行主程序

if __name__ == '__main__':   # 顶层功能的引用放在__name__后
    import os
    keywordsList = wrKeywords('error','shutdown')
    filenameList = allPath('\')
    fi = classLog(filenameList, keywordsList)
    print('匹配到的文件有：')
    for str in fi:
        print(str)