scrapy模拟登录方法以及你可能遇到的坑

# -*- coding: utf-8 -*-
import json
import scrapy
from scrapy import Request
class StandardSpider(scrapy.Spider):
    name = 'standard'
"""
重写start_requests方法，第一个请求会从这里发出，
当然也可以写类属性：start_urls = ['http://xxx.com'],默认的回调函数是parse（），
在默认的回调函数中写  start_requests方法内的代码也是一样的，
目的是爬虫一执行就会执行定义好的请求地址，并且保存cookies;

"""
    #第一次发起get请求来保存服务器设置的cookies,
#已经从get的response中提取有价值信息，为登陆提供服务
    def start_requests(self):
        #meta是核心方法，通过它来保存服务器设置的
        return [Request(url='http://xxxxxx/login',meta={'cookiejar':1},callback=self.post_login)]
    def post_login(self,response):
          """
        这里通常的写法是：return scrapy.FormRequest.from_response(xxxxx),
这里的from_response方法会上一个response中提取form表单中的action属性值，
所以，确保你的response中一定是有form表单的，否则，一定会报错，
报错的内容是”No <form> element found in “，所以当您用from_response这个方法的时候，
一定要确保，您的response中是有from表单的（有些变态的登录页面，form表单不是静态的），
我这里并没有用from_response这个方法来自动提取登录的post地址，
而是用了FormRequest实例，手动指定post地址，
meta参数同样是要带上的，将response.meta['cookiejar']赋值给cookiejar
回调函数随便怎么写了，已经登录成功了，你可以再次return Request,
也可return item
        """
        return scrapy.FormRequest(
            # response,
            url = 'http://ntlias-stu.boxuegu.com/user/login',
            formdata={
                'loginName':'A171200615',
                'password':'nishijiba'
            },
            meta = {'cookiejar':response.meta['cookiejar']},
            dont_filter = True,
            callback = self.after_login,
        )

    def after_login(self,response):
        yield Request(url='http://www.pornhub.com',meta={'cookiejar':response.meta['cookiejar']})