# -*- coding: utf-8 -*-
import scrapy
import json
class WeiSpider(scrapy.Spider):
name = 'wei'
allowed_domains = ['weibo.cn']
# start_urls = ['http://weibo.cn/']
# 当引擎把start_urls中的内容放入调度器中以后，会调取下载器发起get请求，现在如果需发送post请求，就需要把start_urls注视掉
# def parse(self, response):
# pass
# 重写一个方法
def start_requests(self):
# 这个方法当下载器开始发起请求之前被调用
# 在这个方法我们可以把下载器截获，改变其原来的请求方式
login_url = "https://passport.weibo.cn/sso/login" # post请求的接口url
# post提交的数据
data = {
'username': '18610593606',
'password': 'a123456',
'savestate': '1',
'r': 'https://weibo.cn/?luicode=20000174',
'ec': '0',
'pagerefer': 'https://weibo.cn/pub/?vt=',
'entry': 'mweibo',
'wentry': '',
'loginfrom': '',
'client_id': '',
'code': '',
'qq': '',
'mainpageflag': '1',
'hff': '',
'hfp': ''
}
yield scrapy.FormRequest(url=login_url,formdata=data,callback=self.parse_login)
def parse_login(self, response):
# print(response.text)
# 判断登录是否成功
if json.loads(response.text)["retcode"] == 20000000:
print("登录成功！")
# 访问主页
main_url = "https://weibo.cn/?since_id=0&max_id=H0moBsJrC&prev_page=1&page=1"
yield scrapy.Request(url=main_url,callback=self.parse_info)
else:
print("登录失败！")
def parse_info(self, response):
print(response.text)
# 在这里解析
3.爬取post请求
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 利用道译界面制作翻译程序 查看其翻译界面，发现POST请求需要传递大量的参数，测试后，动态生成SATL和S叹息。当...
- 接下去进入代码的模块,首先我们分析一下如何实现代码我们拥有一张类别表，类别表中记录了 类别名称，编码，地址，该类别...
