先来看一下需求，以抓取简书用户信息为例：
- 用户主页左侧显示的信息：(用户主要信息)
- 用户昵称(nickname)
- 关注数(subs)
- 粉丝(fans)
- 文章(articles)
- 字数(words)
以上数据从用户首页可以获取（/latest_articles），其他页面（/timeline, /followers...）都有这些数据。
用户主页可以得到的数据
- 我们还关注的信息：(反映用户活跃度的其他数据)
- 用户文章总阅读量(read_nums)
- 用户获得打赏数量(rewards)
- 用户获得评论数量(comments)
- 用户发表的评论数量(pub_comments)
- 用户注册时间(regtime)
以上数据在包含在两个(类)页面中：
1）阅读量、打赏量、评论数量3个数据在latest_articles页面上，需要汇总得到，每页中每条（每篇文章）汇总，然后分页汇总所有文章的这3个数据。
2）用户发表的其他评论和注册时间，在timeline页面上，其中用户发表的评论需要在timeline页面上每页汇总，注册时间在timeline最后一页。
timeline页面上要抓取的数据
一个用户完整的信息要在多个Request中获取，需要在请求之间传递参数。
直到该用户所有页面数据汇总完成，提交item。
Scrapy采用的是回调（callback）的方式，把请求处理交给下一次请求，在请求时用meta传递参数。Request(url=item_details_url, meta={'item': item},callback=self.parse_details)，可传递简单类型参数或对象类型参数。
def parse(self, response):
# collect `item_urls`
for item_url in item_urls:
yield Request(url=item_url, callback=self.parse_item)
def parse_item(self, response):
item = MyItem()
# populate `item` fields 收集处理一部分数据
yield Request(url=item_details_url, meta={'item': item},
callback=self.parse_details)
def parse_details(self, response):
item = response.meta['item']
# populate more `item` fields 再收集处理另外的数据
return item
这样完成一个用户所有数据收集，注意以上示例代码没有包含分页递归调用。
PS:
- 传递多个参数：
yield Request(url, meta={'item': item, 'rdt': rdt, 'comments':cmt,'rewards':rewards,'total': total, 'curpage': cur}, callback=self.parse)
取出多个参数。如果不同url过来的加上判断。（如针对分页）
item = response.meta['item']
rdt = response.meta['rdt']
total = response.meta['total']
cur = int(response.meta['curpage'])
cmt = int(response.meta['comments'])
rewards= int(response.meta['rewards'])
