Scrapy 在PyCharm中输出信息为红色字体的解决办法

现象:

pycharm_logging.png

原因:

在PyCharm的设置中, 运行窗口会把stderr的信息输出为红色:

pycharm_error.png

只要把Foreground取消掉就可以了

本质:

那么现在的问题是, 为什么Scrapy的的log信息会出现在stderr中?

首先我们看一下Scrapy log的配置:

def configure_logging(settings=None, install_root_handler=True):

# 删除不必要的信息
    if install_root_handler:
        logging.root.setLevel(logging.NOTSET)
        handler = _get_handler(settings)
        logging.root.addHandler(handler)
        
def _get_handler(settings):
    """ Return a log handler object according to settings """
    filename = settings.get('LOG_FILE')
    if filename:
        encoding = settings.get('LOG_ENCODING')
        handler = logging.FileHandler(filename, encoding=encoding)
    elif settings.getbool('LOG_ENABLED'):
        handler = logging.StreamHandler()
    else:
        handler = logging.NullHandler()

    formatter = logging.Formatter(
        fmt=settings.get('LOG_FORMAT'),
        datefmt=settings.get('LOG_DATEFORMAT')
    )
    handler.setFormatter(formatter)
    handler.setLevel(settings.get('LOG_LEVEL'))
    if settings.getbool('LOG_SHORT_NAMES'):
        handler.addFilter(TopLevelFormatter(['scrapy']))
    return handler

Scrapy的默认设置是给root logger根据配置信息添加一个Handler, 默认为

handler = logging.StreamHandler()

而StreamHandler的默认设置是:

def __init__(self, stream=None):
    """
    Initialize the handler.

    If stream is not specified, sys.stderr is used.
    """
    Handler.__init__(self)
    if stream is None:
        stream = sys.stderr
    self.stream = stream

所以我们的log信息都跑到stderr中去了.

现在知道原理之后, 我们可以用更加Pythonic的方法解决这个问题:

import sys

sys.stderr = sys.stdout

这样, stdout 和 stderr 都指向同一个file descriptor, 所有的log 也都会写入这个file descriptor.