2、scrapy发送post请求

若是访问的网址不在域名限制里面,会被过滤掉,两种处理方式:
第一种:
   把域名加到域名限制里面
第二种:
   域名限制里面什么都不写,表示都可以

发送post请求

scrapy.FormRequest(url=url,callback=处理函数,formdata=formdata)

注意:如果不重写start_request()方法,scrapy默认发送的是get方法,无论是什么请求,scrapy是先发get请求,如果想一上来就发post请求,需要重写start_request()方法

def start_request(self):
    post_url = '起始网址';

注意:将start_url起始url注释掉
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容