近期小伙伴让帮忙写一个模拟登录爬虫的时候遇到的一个问题，来记录一下。
在模拟登录的时候，首先进行了一次login的登录操作，抓包返回的参数如下。
点击登录键后返回值
可以看到，在人工点击登录的过程中，实际上post过去的值有3个，即username，password以及csrfmiddlewaretoken。经过搜索相关资料了解到，这个是被用作CSRF即防跨域访问的一种手段，即通过验证是否在当前请求中传入参数而非其他请求中传入。如果本次请求没有给出csrfmiddlewaretoken或者给出错误的csrfmiddlewaretoken就会登陆失败。
那么为了解决这个问题，我先在原始的html里面找了一下csrfmiddlewaretoken存在的位置，于是我发现他被放在一个隐藏的input模块中，如下。
csrfmiddlewaretoken
在重新登入页面后我发现，首次访问login页面的时候是用的get方法，且在首次访问的过程中就会存在csrfmiddlewaretoken。于是，在进行参数post之前，应该先对页面进行一次get访问。然后通过bs4的处理方式先将csrfmiddlewaretoken提取出来。
这里有一个问题，即不能直接使用request方法，因为对于一次request而言，每一次的csrfmiddlewaretoken都是不同的，因此为了保持get和post两次request的csrfmiddlewaretoken能够通用，就必须在这里引入session，而不能直接使用request进行两次访问。
部分源代码如下:
import requests
import datetime
from bs4 import BeautifulSoup
import pandas as pd
# python2
try:
# python2
import cookielib
print(f"user cookielib in python2.")
except:
# python3
import http.cookiejar as cookielib
print(f"user cookielib in python3.")
# 创建session
gsmSession = requests.Session()
# cookie转为cookiejar
gsmSession.cookies = cookielib.LWPCookieJar(filename = "gsmCookies.txt")
userAgent = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36"
header = {
"Referer": "http://xxxx/userlogin/login/",
'User-Agent': userAgent,
'Connection':'keep-alive'
}
login_url = "http://xxxx/userlogin/login/"
#获取登录csrf
def getLogin_csrf():
print("开始获取csrf")
responseRes = gsmSession.get(login_url,headers = header)
soup_Res = BeautifulSoup(responseRes.text,'lxml')
data_Res = soup_Res.find_all('input',{'name':'csrfmiddlewaretoken'})
csrfmiddlewaretoken = data_Res[0]['value']
print("csrfmiddlewaretoken = "+ csrfmiddlewaretoken)
return csrfmiddlewaretoken
#登录进行登录
def gsmLogin(account, password):
#获取登录csrf
csrfmiddlewaretoken = getLogin_csrf()
# 开始模拟登录
print("开始模拟登录")
postData = {
"password": password,
"username": account,
"csrfmiddlewaretoken":csrfmiddlewaretoken
}
# 传参登录
responseRes = gsmSession.post(login_url, data = postData, headers = header)
# 是否登陆成功 statusCode = 200
print(f"statusCode = {responseRes.status_code}")
print(responseRes.headers)
print(gsmSession.cookies)
#登录成功后保留cookie
gsmSession.cookies.save()
if __name__ == "__main__":
#配置用户密码
account='xxxxxxx'
password='xxxxxxx'
#开始登录
gsmLogin(account, password)
gsmSession.cookies.load("gsmCookies.txt")
