关键词：多重页面数据爬取

在[学院教师信息爬取报告（一）][1]中，我们使用的是两个爬虫分别爬取同一网站的不同页面。而教师列表页与详情页存在着大量的信息重复，所以将两者综合生成新的教师详情列表数据是一个不错的方案。
[1]: http://www.jianshu.com/writer#/notebooks/12252479/notes/12125419

定义元数据

根据将要爬取的页面数据信息，在你建立的项目目录items.py文件下定义你的item

class TeachersItem(scrapy.Item):
    introduction = scrapy.Field()
 #该数据来自教师详情页
    name = scrapy.Field() 
    title = scrapy.Field()
    subject = scrapy.Field()
    email = scrapy.Field()
#该四项数据来自教师列表页

爬虫代码

import scrapy
from teacher.items import TeachersItem


class TeacherSpider(scrapy.Spider):
    name = 'Teachers'
    allowed_domains = ['ggglxy.scu.edu.cn']
    start_urls = ['http://ggglxy.scu.edu.cn/index.php?c=article&a=type&tid=18']

    def parse(self, response):
        teacher_urls = response.xpath('//ul[@class="teachers_ul mt20 cf"]/li[@class="fl"]')
        #该句是生成包含每个教师列表item的url列表
        for teacher_url in teacher_urls:
            item = TeachersItem()
            item['name'] = teacher_url.xpath('./div[@class="r fr"]/h3/text()').extract()
            item['title'] = teacher_url.xpath('./div[@class="r fr"]/p/text()').extract()
            item['subject'] = teacher_url.xpath('./div[@class="r fr"]/div[@class="desc"]/p[1]/text()').extract()
            item['email'] = teacher_url.xpath('./div[@class="r fr"]/div[@class="desc"]/p[2]/text()').extract()
            #该四项数据位于起始页，爬取代码位于parse函数内部
            urls = response.xpath('//ul[@class="teachers_ul mt20 cf"]/li[@class="fl"]/div[1]/a/@href').extract()
            #该句是生成包含每个教师详情item的url列表，这里已经进入第二层级页
            for url in urls:
                url = response.urljoin(url)
                #该句将url补全，生成完整的绝对路径
                yield scrapy.Request(url, meta={'item': item}, callback = self.parse_teacher_x)
                #返回Request，发送服务器请求，此时使用meta传值，回调parse_teacher_x函数

        next = response.xpath('//div[@class="pager cf tc pt10 pb10 mobile_dn"]/li[last()-1]/a/@href').extract_first()
        #该句构造分页，这里last()函数仅适用于网页结构良好的分页，此处next可看情况自己构造
        if next is not None:
            next = response.urljoin(next)
            yield scrapy.Request(next, callback = self.parse)

    def parse_teacher_x(self, response):
        item = response.meta['item']
        item['introduction'] = response.xpath('/html/body/div[3]/div[2]/div/div[1]/div[2]/div/text()').extract()
        yield  item

简单说明：

1. 正确获取item各个数据项的urls列表，使用response.urljoin（）生成url绝对值，同时返回Request使其作为新地址入口（即其余未定义数据项入口）。

• 使用meta传已获得的数据项的值，作为参数传递。
• 回调函数的写法，自己要揣摩。