背景:
- 我的项目都使用
filebeat
来采集日志 - 大部分项目都是
Java
项目,直接使用slf4j
来打印日志,每行日志的开头都是时间戳 - 因此在
filebeat
中直接配置一个匹配时间戳的正则,就完成了日志分行 - 要用
filebeat
采集elastalert
的日志,并且想复用原来的正则
所以需要格式化一下elastaler
t的日志格式,方便我采集。
查看一下代码,elastalert
的日志都用 util.py
中的这个logger
来打印,如下:
这个
logger
就是util.py
中的
logging.basicConfig()
elastalert_logger = logging.getLogger('elastalert')
啥都没设置,就写了个名字elastalert
一张白纸啊,可以随意改!
先点进去看一下logging.basicConfig()
的代码,发现功能有限,不能实现我们需要按天滚动日志的需求,所以我们使用Handler
首先要给他加上时间戳,为了方便找到日志,还可以打印是哪个文件多少行的日志,
所以我的日志格式定义为:
log_fmt = '%(asctime)s.%(msecs)03d %(threadName)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s'
解释一下:
-
asctime:
时间戳,%s -
msecs:
毫秒,%03d -
filename:
打印日志的文件名称, %s -
line:
打印日志的行号,%d -
levelname:
日志等级,%s -
message:
日志内容,%s
formater
支持的参数小计
-
levelno
打印日志级别的数值,%s -
levelname:
打印日志级别名称,%s -
pathname:
打印当前执行程序的路径,其实就是sys.argv[0],%s -
filename:
打印当前执行程序文件名,%s -
funcName:
打印日志的当前函数,%s -
lineno:
打印日志的当前行号,%d -
asctime:
打印日志的时间,%s -
thread:
打印线程ID,%d -
threadName:
打印线程名称,%s -
process:
打印进程ID,%d -
message:
打印日志信息,%s
因为logging
中默认的时间戳是 %Y-%m-%d %H:%M:%S,%f
,但是我就想要秒%S
和毫秒%f
中间的符号是点.
,不是逗号,
。但是 strftime()
并不支持格式化到毫秒,所以要把时间戳asctime
格式化为%Y-%m-%d %H:%M:%S
, 然后拼上点.
和msecs
这个属性。
接下来, 定义时间戳的格式,然后放入logging.Formatter()
:
date_fmt = '%Y-%m-%d %H:%M:%S'
formatter = logging.Formatter(log_fmt, date_fmt)
写一个生成日志文件的handler
# 日志文件
log_file_handler = TimedRotatingFileHandler(
filename='${日志文件路径}/${日志文件名}.log',
when='M',
interval=2,
backupCount=3)
log_file_handler.suffix = '%Y-%m-%d'
log_file_handler.extMatch = re.compile(r"^\d{4}-\d{2}-\d{2}.\d{2}:\d{2}$")
log_file_handler.setLevel(logging.INFO)
log_file_handler.setFormatter(formatter)
elastalert_logger.addHandler(log_file_handler)
解释一下:
-
filename:
就是生成日志文件的文件名 -
when:
触发滚动的时间单位 -
interval:
触发滚动的周期,如when='M',interval=2,即每两分钟滚动一次 -
backupCount:
最大滚动文件数 -
suffix:
文件后缀,滚动文件会在文件名后添加的后缀 -
extMatch:
文件后缀符合的正则,用于删除超过backupCount数目的日志文件
按照上述我的配置,即每2分钟滚动一个新的日志文件,最多存在三个滚动文件。
当前正在写入的文件名称为${日志文件路径}/${日志文件名}.log
滚动后的文件名称为${日志文件路径}/${日志文件名}.log.%Y-%m-%d
再写一个控制台打印日志的handler
:
# 控制台日志
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.INFO)
console_handler.setFormatter(formatter)
elastalert_logger.addHandler(console_handler)
这样,elastalert
中日志的打印就调整好了。
2019-01-22 16:45:30.569 MainThread elastalert.py[line:1115] INFO Starting up
2019-01-22 16:45:30.573 MainThread elastalert.py[line:1245] INFO Sleeping for 29.999984 seconds
tags: [elastalert] [python 2.7]