本文参考学习
博主崔庆才的系列教程
Scrapy教程
上一篇文章当中我们获得了电影的名字，来想想平时我们下电影是怎么下的？
那还不是轻车熟路吗？？扔到BT搜索引擎里面查磁力链接再去离线下载啊！这一部分的文章将介绍如何获取磁力链接。
简介
我们在Spiders得到了“货物”的信息——电影名字，Spiders需要充当一个“打包员”的角色，将“包裹”Items投递给“快递员”Item Pipeline，由他进行运输。
在这一部分将把电影名字和获取到的磁力链接打包成“包裹”，发送给“快递员”，由他运输处理。最后效果如图所示：
BT搜索引擎选择一个能方便获取到磁力链接的BT蚂蚁。
打包员
我们同样用上一篇文章提到的用Xpath的方法获取链接，这里方便起见就只获取第一个链接。（后续是要放在百度网盘里面下载，可能会出现屏蔽等错误，所以实际上可能需要多个磁力链接备用）
def parse_item(self,response):
name=response.xpath('//*[@class="title"][1]/text()').extract()
for mvname in name:
yield (Request('http://www.btanh.com/search/'+mvname+'-first-asc-1',callback=self.parse_mv,dont_filter=True,meta={'name':mvname}))
最后一句意思是发出对这个网址的请求，并交给parse_mv这个函数来处理。还记得上一篇文章的allow吗？这个网址并不符合allow的规则，所以我们填上don’t_filter让他不要把这个网址给过滤掉。Meta可以用来把参数传递给parse_mv函数。
下面开始获取磁力链接地址：
F12一阳指大法
这里要的是href属性值，所以Xpath要跟着改啦。经过测试是
//*[@class="download"]/attribute::href
（还记得语法吗？快去查呀！）
这次我们要的“货物“信息包括电影名和磁力链接，所以items.py增添为
class DbItem(scrapy.Item):
name = scrapy.Field()
magurl=scrapy.Field()
继续回到spider.py
def parse_mv(self,response):
mvitem=DbItem()
magneturl=response.xpath('//*[@class="download"]
/attribute::href').extract_first()
#mvitem就是一个装”货物”的箱子了，
#下面两句把”货物“给填进去
mvitem['name']=response.meta['name']
mvitem['magurl']=magneturl
# print(response.meta['name']+' '+magneturl)
#打包员的任务完成了，把“货物”包裹return，
#投递出去
return (mvitem)
回到最开始的图，Items投递到哪里去呢？
快递员Pipelines，由他来进行处理。
总结
这一部分文章很浅地介绍了Scrapy大致的结构，spider打包Item给Pipeline进行处理；Request的callback,don’t_filter,meta等参数；Xpath需要熟练使用。
下一篇文章当中，我们将介绍如何处理“货物”——把它离线下载到百度网盘中。
本项目代码：
github_douban
过往文章：
网易云音乐评论抓取实验(1)接口获取
Python自动生成简书过往文章链接Markdown格式文本
Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载
Python实现电影排行榜自动网盘下载(3)Selenium离线下载
Python实现电影排行榜自动网盘下载(2)Scrapy深入 “打包员”“快递员”
Python实现电影排行榜自动网盘下载(1)Scrapy爬虫框架
