Logging
Scrapy提供了log功能。您可以通过 scrapy.log
模块使用。当前底层实现使用了 Twisted logging ,不过可能在之后会有所变化。
log服务必须通过显示调用 scrapy.log.start()
来开启,以捕捉顶层的Scrapy日志消息。 在此之上,每个crawler都拥有独立的log观察者(observer)(创建时自动连接(attach)),接收其spider的日志消息。
Log levels
Scrapy提供5层logging级别:
-
CRITICAL
- 严重错误(critical) -
ERROR
- 一般错误(regular errors) -
WARNING
- 警告信息(warning messages) -
INFO
- 一般信息(informational messages) -
DEBUG
- 调试信息(debugging messages)
如何设置log级别
您可以通过终端选项(command line option) <cite style="font-family: "Microsoft Yahei", sans-serif; box-sizing: border-box;">–loglevel/-L</cite> 或 LOG_LEVEL
来设置log级别。
如何记录信息(log messages)
下面给出如何使用 WARNING
级别来记录信息的例子:
from scrapy import log
log.msg("This is a warning", level=log.WARNING)
在Spider中添加log(Logging from Spiders)
在spider中添加log的推荐方式是使用Spider的 log()
方法。该方法会自动在调用 scrapy.log.msg()
时赋值 spider
参数。其他的参数则直接传递给 msg()
方法。