custom_settings = {
# 采集 深度（链接跳转次数）
"DEPTH_LIMIT": 3,
# 是否开启 cookie false 不开启(默认) true 开启
'COOKIES_ENABLED':False,
# 下载延迟时间 1秒
'DOWNLOAD_DELAY': 1,
# 是否允许重定向 true 允许 false 不允许(默认)
"REDIRECT_ENABLED":True,
# 该配置会 实现一个spider对应一个日志文件
"LOG_FILE": f"log/{name}.log"
}
dont_filter true 不过滤 false 过滤(默认)Scrapy 配置记录
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 早就想恢复每天在简书上写点啥的习惯，但没想到，表达欲望和写作灵感居然同时枯竭。直到今天，一个普通的周六，像往常的周...
- 最近在搞爬虫，总听说scrapy多么多么强大，个人认为初学者先自己去理解爬虫的几个重要的点，手动去写爬虫，等到熟悉...
- 信号(Signals) 记录运行时间主要用的的就是scrapy的singal信号管理，点击查看详情 根据各种信号记...
