Scrapy 配置记录

custom_settings = {
    # 采集 深度（链接跳转次数）
    "DEPTH_LIMIT": 3, 
    # 是否开启 cookie    false 不开启(默认)   true  开启  
    'COOKIES_ENABLED':False, 
    # 下载延迟时间  1秒
    'DOWNLOAD_DELAY': 1, 
    # 是否允许重定向  true  允许   false  不允许(默认)
    "REDIRECT_ENABLED":True,
    #  该配置会 实现一个spider对应一个日志文件
    "LOG_FILE": f"log/{name}.log"
}


dont_filter     true   不过滤       false   过滤(默认)
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容