python日志处理

1 基本概念

   在程序运行的过程中有时需要查看程序运行的状态，这时就需要用的日志处理模块。在python中日志是通过logging这个模块实现的。我们先简单输出日志查看一下：

import logging
logging.basicConfig(format='%(asctime)s-%(name)s-%(levelname)s-%(message)s')

logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')
logging.error('This is error message')
logging.critical('This is critical message')

2020-03-16 08:58:53,655-root-WARNING-This is warning message
2020-03-16 08:58:53,659-root-ERROR-This is error message
2020-03-16 08:58:53,659-root-CRITICAL-This is critical message

   其中‘2020-03-16 08:58:53,655’对应的是‘%(asctime)s’，表示当前时间；‘root’对应‘%(name)s’，表示logger实例的名称，默认名称是‘root’；‘warning’对应‘%(levelname)s’，表示日志级别（可以看到默认是warning，它以下的info和debug都不显示）；‘This is warning message’对应‘%(message)s’，表示用户要输出的日志内容。

1.1 日志级别

import logging
print(logging.NOTSET)
print(logging.DEBUG)
print(logging.INFO)
print(logging.WARNING)
print(logging.ERROR)
print(logging.CRITICAL)

0
10
20
30
40
50

   就像开头实验的一样，默认日志级别是warning，所以它以下的info和debug都不显示。假设设置了日志级别为info，则会输出级别大于或者等于info的日志，而小于它的如debug则不会输出。

import logging

logging.basicConfig(format='%(asctime)s-%(name)s-%(levelname)s-%(message)s',level = logging.INFO)

logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')
logging.error('This is error message')
logging.critical('This is critical message')

2020-03-16 14:34:01,867-root-INFO-This is info message
2020-03-16 14:34:01,867-root-WARNING-This is warning message
2020-03-16 14:34:01,868-root-ERROR-This is error message
2020-03-16 14:34:01,868-root-CRITICAL-This is critical message

1.2 Formatter

   Formatter定义日志的格式，即输出的每条日志由哪几个部分组成

1.2.1 常用参数

1.2.2 创建Formatter

formatter = logging.Formatter(
    '%(asctime)s-%(filename)s[line:%(lineno)d]-<%(threadName)s%(thread)d>'+'-<Process %(process)d>-%(levelname)s:%(message)s'
)

   现在就可以将创建的Formatter用于接下来要讲的Handler上

1.3 Handler

   Handler用来设置将日志输出到哪里。像本文开头示例，logging.basicConfig()默认会创建logging.StreamHandler()，将日志输出到sys.stdout标准控制台，即屏幕上。

1.3.1 常用的Handler

1. logging.StreamHandler：输出到控制台
2. logging.FileHandler：输出到指定的日志文件中
3. logging.handlers.RotatingFileHandler：也是输出到日志文件中，还可以指定日志文件的最大大小和副本数，当日志文件增长到设置的大小后，会先将原日志文件 test.log 重命名，如 test.log.1，然后再创建一个 test.log 继续写入日志。如果设置了副本数 N，则最多只能存在 N 个重命名的日志文件
4. logging.handlers.TimedRotatingFileHandler：按日期时间保存日志文件，如果设置了滚动周期，则只存在这个周期内的日志文件。比如，只保留一周内的日志
5. logging.handlers.SMTPHandler：捕获到指定级别的日志后，给相应的邮箱发送邮件

1.3.2 创建Handler

# 创建StreamHandler，输出日志到控制台
stream_handler = logging.StreamHandler()

1.3.2.1 Handler的常用方法

• stream_handler.setFormatter(formatter)：设置Handler的日志格式，参数formatter为上一节中的logging.Formatter实例
• stream_handler.setLevel(logging.INFO)：设置Handler的日志级别

然后就可以将创建的Handler添加到下一届的logger实例上

1.4 Logger

   如前面所述，直接使用logging.basicConfig()默认使用root这个logger实例，我们也可以使用logging.getLogger()创建一个自定义命令的logger实例

# 1. 创建一个叫aiotest的logger实例，如果参数为空则返回root logger
logger = logging.getLogger('aiotest')

# 2. 设置总日志级别, 也可以给不同的handler设置不同的日志级别
logger.setLevel(logging.DEBUG)

# 3. 将Handler添加到logger实例上
logger.addHandler(stream_handler)

2 简单配置

2.1 使用默认日期时间格式，设置日志级别

import logging

logging.basicConfig(format='%(asctime)s-%(name)s-%(levelname)s-%(message)s',level = logging.INFO)

logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')
logging.error('This is error message')
logging.critical('This is critical message')

2020-03-16 14:34:01,867-root-INFO-This is info message
2020-03-16 14:34:01,867-root-WARNING-This is warning message
2020-03-16 14:34:01,868-root-ERROR-This is error message
2020-03-16 14:34:01,868-root-CRITICAL-This is critical message

2.2 使用自定义日期格式，设置日志级别

import logging

logging.basicConfig(format='%(asctime)s-%(name)s-%(levelname)s-%(message)s',datefmt='%Y-%m-%d',level = logging.DEBUG)

logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')
logging.error('This is error message')
logging.critical('This is critical message')

2020-03-16-root-DEBUG-This is debug message
2020-03-16-root-INFO-This is info message
2020-03-16-root-WARNING-This is warning message
2020-03-16-root-ERROR-This is error message
2020-03-16-root-CRITICAL-This is critical message

2.3 输出到日志文件

import logging

logging.basicConfig(filename='test.log',level=logging.INFO)

logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')
logging.error('This is error message')
logging.critical('This is critical message')

   这将会在当前目录下创建一个test.log日志文件

日志文件

文件内容

2.4 同时输出到控制台和日志文件

# logging_6.py
import os 
import time
import logging

###
# 1. 创建logger实例，如果参数为空则返回root logger
###

logger = logging.getLogger('aiotest')
# 设置总日志级别，也可以给不同的handler设置不同的日志级别
logger.setLevel(logging.DEBUG)

###
# 2. 创建Handler，输出日志到控制台和文件
###

# 控制台日志和日志文件使用同一个Formatter
formatter = logging.Formatter(
    '%(asctime)s-%(filename)s[line:%(lineno)d]-<%(threadName)s%(thread)d>' + '-<Process>%(process)d-%(levelname)s:%(message)s'
)

# 日志文件FileHandler
basedir = os.path.abspath(os.path.dirname(__file__))#返回脚本的路径，即文件路径中所在的目录（不包含文件名）
log_dest = os.path.join(basedir,'logs') # 日志文件所在目录
if not os.path.isdir(log_dest):
    os.mkdir(log_dest)
filename = time.strftime('%Y-%m-%d-%H-%M-%S',time.localtime(time.time())) + '.log' # 日志文件名，以当前时间命名
file_handler = logging.FileHandler(os.path.join(log_dest,filename),encoding ='utf-8') # 创建日志文件handler
file_handler.setFormatter(formatter) # 设置Formatter
file_handler.setLevel(logging.INFO) # 单独设置日志文件的日志级别

# 控制台日志StreamHandler
stream_handler = logging.StreamHandler()
stream_handler.setFormatter(formatter)
# stream_handler.setLevel(logging.INFO) # 单独设置控制台日志的日志级别，注释掉则使用总日志级别

###
# 3. 将handler添加到logger中
###

logger.addHandler(file_handler)
logger.addHandler(stream_handler)

# 在同一目录的另一文件中调用
from logging_6 import logger

logger.info('This is info message')

2020-03-16 17:21:41,417-logging_7.py[line:3]-<MainThread21204>-<Process>9252-INFO:This is info message

查看日志文件

   我们可以看到在控制台和日志文件中都生成了日志记录。
   有关python日志处理logging模块，还可以看下面这篇文章：
python中logging日志模块详解