scrapy模拟登录
为什么需要模拟登录?
获取cookie,能够爬取登录后的页面
回顾:
request是如何模拟登录的?
1 直接携带cookies请求页面
2 找接口发送post请求存储cookie
selenium是如何模拟登录的?
找到对应的input标签,输入文字点击登录
那么对于scrapy来说,也是有两个方法模拟登录:
1 直接携带cookie
2 找到发送post请求的URL地址,带上信息,发送请求
登录人人网
直接携带cookie登陆
scrapy模拟登陆之发送post请求
登录GitHub
找到发送post请求的URL地址,带上信息,发送请求