Scrapy + Selenium = Fast crawl (TB goods)

写在开头：本人做移动端开发，不是一个专业的 Spider ，用 Python 搞爬虫纯属个人爱好，如果不妥之处，不喜勿喷，大神请绕过。

github 上面有本文代码地址。

先前写过一个 demo 使用 requests + Selenium 的方式抓取淘宝商品，之前没有涉及过 Scrapy 这个框架。本文使用此框架来做一次同样的抓取，看看 Scrapy 框架是不是像外界吹的那么神。不会使用 Scrapy 的同学也没关系，这里有篇中文文章是专门介绍 Scrapy 的。

Scrapy 抓取页面的方式和 requests 库类似，都是直接模拟 HTTP 的请求，而 Scrapy 也不能抓取JavaScript 动态渲染的页面。但是使用 Selenium 可以完美解决问题。

先看一下整个项目的框架：


TB.png

新建项目

首先新建项目，命名如 scrapyseleniumtest , 命令如下：
scrapy startproject scrapyseleniumtest
新建一个 Spider ， 命令如下：
scrapy genspider taobao www.taobao.com
修改 ROBOTSTXT_OBEY 为 False
ROBOTSTXT_OBEY = False

定义 Item

定义需要抓取的商品信息：

import scrapy
class ProductItem(scrapy.Item):
    # 此处定义的 collection 字段是为了 存储数据到 MongoDB 使用
    collection = 'products'
    image = scrapy.Field()
    title = scrapy.Field()
    price = scrapy.Field()
    deal = scrapy.Field()
    shop = scrapy.Field()
    location = scrapy.Field()

初步实现 Spider 的 start_requests() 方法，返回所有的 Request 对象 ，如下所示：

import scrapy
from scrapyseleniumtb.items import ProductItem
#此处引入 quote 模块  是为了将中文拼接到 URL 中
from urllib.parse import quote 

class TaobaoSpider(scrapy.Spider):
    name = 'taobao'
    allowed_domains = ['www.taobao.com']
    start_urls = ['http://www.taobao.com/']
    base_url = 'https://s.taobao.com/search?q='

    def start_requests(self):
        for key in self.settings.get('KEYWORDS'):
            for page in range(1, self.settings.get('MAX_PAGE') + 0):
                url = self.base_url + quote(key)
                yield scrapy.Request(url=url, callback=self.parse, meta={"page": page}, dont_filter=True)

    def parse(self, response):
        #解析函数
        pass

  • 首先定义一个 base_url ，即商品列表的 URL , 其后拼接一个搜索关键字，此处的关键字就是搜索的商品名称

  • 关键字放到一个列表中，用 KEYWORDS 表示，定义在 setting 中。同时也定义最大的翻页页码用 MAX_PAGE 表示。如下：

    KEYWORDS = ['iPad, 'iPhone Xs Max', '苹果']
    MAX_PAGE = 10

  • 在 start_requests() 方法里，首先遍历了搜索的关键字，遍历了页码，构造一个 Request。由于每次搜索的 URL 固定，每次只需要传入页码即可。将页码看做参数写在 meta 参数里面。同时设置不去重 dont_filter 。这样在爬虫启动的时候，就生成了每个关键字对应的商品列表的每一页请求了。

对接 Selenium

以上的是我们构造的请求，到目前为止还没有发起请求。发起请求我们借用 Selenium ，采用 DownloaderMiddleware 来实现。在 Middleware 里面可以借用 process_request() 方法来对每个抓取请求进行处理，启动浏览器并进行页面渲染，再将渲染之后的结果构造一个 HtmlResponse 对象返回。代码实现如下：

from scrapy import signals
from scrapy.http import HtmlResponse
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
from logging import getLogger
# 导入chrome选项 可以使用浏览器的无头模式
from selenium.webdriver.chrome.options import Options

class SeleniumMidleware():

    # 在初始化 SeleniumMidleware 之前，会首先调用下面的类方法，从设置全面变量 settings 文件里面获取有用信息，将信息定义为全局类变量。
    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            timeout=crawler.settings.get('SELENIUM_TIMEOUT')
        )

    # 在初始化的时候 会将全局类变量作为参数调用
    def __init__(self, timeout=None, service_args=[]):
        self.logger = getLogger(__name__)
        chrome_options = Options()
        chrome_options.add_argument('--headless')
        # self.browser = webdriver.Chrome(chrome_options=chrome_options)
        self.browser = webdriver.Firefox(service_args=service_args)
        self.timeout = timeout
        self.wait = WebDriverWait(self.browser, timeout)
        self.browser.set_page_load_timeout(60)
        self.browser.set_window_size(1400, 900)

     # 对象别销毁之后  关闭浏览器
    def __del__(self):
        self.browser.close()

    def process_request(self, request, spider):
        # Called for each request that goes through the downloader
        # middleware.
        # Must either:
        # - return None: continue processing this request
        # - or return a Response object
        # - or return a Request object
        # - or raise IgnoreRequest: process_exception() methods of
        #   installed downloader middleware will be called
        """
        :param request:
        :param spider:
        :return:
        """
        self.logger.debug('Selenium is starting')
        page = request.meta.get('page')
        try:
            self.browser.get(request.url)
            if page > 1:
                input = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > input')))
                submit = self.wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit')))
                input.clear()
                input.send_keys(page)
                submit.click()
            self.wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > ul > li.item.active > span'), str(page)))
            self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.m-itemlist .items .item')))
            return HtmlResponse(url=request.url, request=request, body=self.browser.page_source, encoding='utf-8', status=200)
        except TimeoutError:
            return HtmlResponse(url=request.url, request=request, status=500)

针对上述代码，做如下说明：

  • 首先我们在 init() 里对一些对象进行初始化， 包括 浏览器对象（此处用的是火狐，也可以替换成其他的）、WebDriverWait 等对象，同时设置 浏览器尺寸、页面加载超时时间。
  • 在 process_request() 方法中，我们可以获取之前构造好的 request 对象，获取兑现里面的一些信息：URL 、meta 中的页码信息 page 。拿到 URL 作为浏览器对象self.browser.get() 里面的参数，这样就讲 请求动作 转移到了 浏览器对象上，而不再使用 Scrapy 里面的 Downloader。
  • 页面加载完成会后，获取页面信息 page_source 属性，利用该页面信息构造一个 HtmlResponse 对象并返回。此处有个链接可以查看 HtmlResponse 对象的结构。

敲黑板 为这么实现一个 DownloaderMiddleware 就可以了？ 之前创建的 Request 对象 放着不管不问吗？ Response 返回后又传给谁了呢？是的，Request 对象到这里就不再处理了，也不会按照之前的流程走下去了，拿到的 Response 对象直接传给 Spider 进行解析。x

在 settings 里面，我们设置调用刚才定义的 SeleniumMiddleware ：

# Enable or disable downloader middlewares
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
   'scrapyseleniumtb.middlewares.SeleniumMidleware': 543,
}

解析页面

拿到 Response 对象之后，Spider 会交给回调函数进行解析 (此处使用xpath解析了一个字段作为示范)。我们来看一下解析方法：

    def parse(self, response):
        if response.status == 200:
            products = response.xpath('//div[@id="mainsrp-itemlist"]//div[@class="items"]//div[contains(@class, "item")]')
            for product in products:
                item = ProductItem()
                # item['image'] = 'https:' + str(product.xpath('.//div[@class="pic"]//img[contains(@class, "img")]/@data-src').extract_first()).strip()
                item['title'] = ''.join(product.xpath('.//div[contains(@class, "title")]//text()').extract()).strip()
                yield item
        else:
            print("status is 500")

在这里我们调用 Xpath 进行解析，调用 Response 对象的 xpath() 方法获取说有的商品数组。遍历数据，赋值给 ProductItem 对象，返回对象即可。

存储结果

上述已经获取到了商品对象，并返回，这里直接返回到了处理 item 的管道 Item Pipeline 里面做进一步的处理。

import pymongo

class ScrapyseleniumtbPipeline(object):

    def __init__(self, mongo_url, mongo_db):
        self.mongo_url = mongo_url
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_url=crawler.settings.get('MONGO_URL'),
            mongo_db=crawler.settings.get('MONGO_DB')
        )
    
    # spider 启动的时候，执行该方法，主要进行一些初始化的工作
    def open_spider(self, spider):
        self.client = pymongo.MongoClient()
        self.db = self.client[self.mongo_db]

    def process_item(self, item, spider):
        # 插入 json 数据
        self.db[item.collection].insert(dict(item))
        
    # 断开连接
    def close_spider(self, spider):
        self.client.close()

记得在 settings.py 里面开启权限：

ITEM_PIPELINES = {
   'scrapyseleniumtb.pipelines.ScrapyseleniumtbPipeline': 300,
}

运行

执行命令
scrapy crawl taobao
运行结果截图：

result.png

查看MongoDB，结果截图：


Robo 3T.png

注意：运行之前需要启动 MongoDB 服务器，命令如下：
brew services start mongodb
sudo mongod
停止和重启的命令如下：
brew services stop mongodb
brew services restart mongodb
针对MongoDB也有可视化的工具，比如 RoboMongo/Robo 3T，使用都很简单，官网地址：https://robomongo.org/download。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 212,542评论 6赞 493
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 90,596评论 3赞 385
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 158,021评论 0赞 348
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 56,682评论 1赞 284
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 65,792评论 6赞 386
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,985评论 1赞 291
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,107评论 3赞 410
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,845评论 0赞 268
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,299评论 1赞 303
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,612评论 2赞 327
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,747评论 1赞 341
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,441评论 4赞 333
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,072评论 3赞 317
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,828评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,069评论 1赞 267
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 46,545评论 2赞 362
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 43,658评论 2赞 350