scrapy meta传递值得问题

meta传递值,有时候当前爬虫解析出来的数据需要重复抓取,获取到到得值有时需要传递给下一个函数
但是 items= response.meta['item'] 接收的时候一直是同样的值
解决:
在yield的时候,meta参数的值做深度拷贝就可以了

import copy
yield scrapy.Request(detail_url,callback=self.next_page,meta={'item': copy.deepcopy(beitem)})

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • scrapy学习笔记(有示例版) 我的博客 scrapy学习笔记1.使用scrapy1.1创建工程1.2创建爬虫模...
    陈思煜阅读 12,798评论 4 46
  • 序言第1章 Scrapy介绍第2章 理解HTML和XPath第3章 爬虫基础 第4章 从Scrapy到移动应用第5...
    SeanCheney阅读 5,438评论 4 10
  • Producer:即为消息的生产者。(待补充)
    big兵阅读 309评论 0 0
  • 献给我的喜欢的她一首无曲的歌!如果她不介意,我会为她大声朗读这份我为她写的歌!希望她能为此给我一次机会,就一次机会...
    愿为你屠世阅读 213评论 0 0
  • 在我早期职业生涯中某个星期五的下午,我正在整理一些新特性给一个Rails客户软件。很简单的东西,我在工作上很自信,...
    Humphrey阅读 372评论 1 1