Scrapy "Filtered duplicate request" 结束运行

也是看别人的,并不清楚原理。。

dont_filter=True #加一行这个
yield scrapy.Request(
    info_url,
    cookies=self.cookie,
    callback=self.parse_info,
    dont_filter=True,
    meta={
        'item': item,
        'date': meta_data['date'],
        'weibo_id': meta_data['weibo_id']
    }
)
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 172,908评论 25 708
  • 懒癌治疗第2天,今天要写的两个字是--沉淀。我说想要参加一个小贵的培训,朋友告诉我,可以先沉淀一下再进行深度学习。...
    爱笑的沅霖阅读 152评论 0 0
  • 当我开始阅读这本书时,我深深的被它吸引了,它一开始就告诉我们故事的结局,莉迪亚失踪了,莉迪亚死了,面对如此冷酷的结...
    Catherine_龙猫阅读 255评论 0 0
  • 首先使用命令iptables -P INPUT ACCEPT允许所有连接,否则容易把自己关在外边。然后使用ipta...
    夕立空阅读 593评论 0 0
  • 高天宇回到住处看到蓝菲在客厅那里端着一杯白开水一口气喝完,又到了一杯就这样喝着有些发愣的现在屋里。蓝菲看见高天宇发...
    古怪的精灵阅读 432评论 3 2