运维工程师在日常工作中，一般可以通过日志管理系统，定时检查网络和安全各类相关系统的日志文件。然而一旦出现故障，我们会被要求检查海量的日志文件，进而定位事件发生经过。
此时，首先通过关键词自动匹配日志，再检查匹配到的日志的方式可以减少一定工作量。
批处理方式进行关键词分类文件
在Windows操作系统上，批处理程序不需要安装任何脚本，不需要通过命令等调用，直接双击就可自动处理，非常方便。
- 搜集关键字，并写入文本文件
# 新建关键字.txt，并写入error和shutdown
@echo off
echo error >> 关键字.txt
echo shutdown >>关键字.txt
- 逐个文件对比，是否存在关键字，并列出
for /f "tokens=1,1-2 delims= " %%i in (20190818.log) do (
for /f "tokens=1,1-2 delimw= " %%j in (关键词.txt) do (
if %%i == %%j echo(%%m %%j>>result.txt))
)
然而可以看出，批处理在字符串的操作上很不便利，导致匹配不精确，需要手动操作的情况时有发生，Python脚本可以有效解决这些问题。
Python方式进行关键词匹配日志文件
- 遍历日志文件
# 返回日志文件列表
def allPath(dirname):
result = []#所有的文件
for maindir, subdir, file_name_list in os.walk(dirname):
print("1:",maindir) #当前主目录
print("2:",subdir) #当前主目录下的所有目录
print("3:",file_name_list) #当前主目录下的所有文件
for filename in file_name_list:
apath = os.path.join(maindir, filename)#合并成一个完整路径
result.append(apath)
return result
- 读入关键词
# 把关键词写入列表
def wrKeywords(*keywords):
keywordsList = []# 所有的关键词
for str in keywords:
li = str + '\n'
keywordsList.append(li)
return keywordsList
- 按关键词分类日志
def classLog(logName, keywordsList):
fi = [] # 匹配到的文件列表
for name in logName:
with open(name, 'r', encoding='utf-8') as f:
t = f.read() # 读取文件
for key in keywordsList:
if key in t:
fi.append(name)
continue
return fi
- 运行主程序
if __name__ == '__main__': # 顶层功能的引用放在__name__后
import os
keywordsList = wrKeywords('error','shutdown')
filenameList = allPath('\')
fi = classLog(filenameList, keywordsList)
print('匹配到的文件有：')
for str in fi:
print(str)
