meta传递值,有时候当前爬虫解析出来的数据需要重复抓取,获取到到得值有时需要传递给下一个函数
但是 items= response.meta['item'] 接收的时候一直是同样的值
解决:
在yield的时候,meta参数的值做深度拷贝就可以了
import copy
yield scrapy.Request(detail_url,callback=self.next_page,meta={'item': copy.deepcopy(beitem)})
meta传递值,有时候当前爬虫解析出来的数据需要重复抓取,获取到到得值有时需要传递给下一个函数
但是 items= response.meta['item'] 接收的时候一直是同样的值
解决:
在yield的时候,meta参数的值做深度拷贝就可以了
import copy
yield scrapy.Request(detail_url,callback=self.next_page,meta={'item': copy.deepcopy(beitem)})