Python爬虫笔记(二)requests模块get,post,代理


一、使用步骤:

1.导包

  import requests

2、确定基础url

  base_url = 'https://www.baidu.com'

3、发送请求,获取响应

  response = requests.get(base_url)

4、处理响应内容

二、requests.get()—get请求方法参数详解

(1)requests.get(

        url=请求url,

        headers =请求头字典,

        params = 请求参数字典。

        timeout = 超时时长,

    )---->response对象

(2)response对象的属性:

  服务器响应包含:状态行(协议,状态码)、响应头,空行,响应正文


  (1)响应正文:

    字符串格式:response.text

    bytes类型:response.content


  (2)状态码:response.status_code


  (3)响应头:response.headers(字典)

        response.headers['cookie']


  (4)响应正文的编码:response.encoding

    response.text获取到的字符串类型的响应正文,

    其实是通过下面的步骤获取的:

        response.text = response.content.decode(response.encoding)

  (5)乱码问题的解决办法:

    产生的原因:编码和解码的编码格式不一致造成的。

        str.encode('编码')---将字符串按指定编码解码成bytes类型

        bytes.decode('编码')---将bytes类型按指定编码编码成字符串。


    a、response.content.decode('页面正确的编码格式')

        <meta http-equiv="content-type" content="text/html;charset=utf-8">


    b、找到正确的编码,设置到response.encoding中

        response.encoding = 正确的编码

        response.text--->正确的页面内容。

(3)get请求项目总结:

  a、没有请求参数的情况下,只需要确定url和headers字典。


  b、get请求是有请求参数。

    在chrome浏览器中,下面找query_string_params,

    将里面的参数封装到params字典中。


  c、分页主要是查看每页中,请求参数页码字段的变化,

  找到变化规律,用for循环就可以做到分页。

三、post请求:

  requests.post(

    url=请求url,

    headers = 请求头字典,

    data=请求数据字典

    timeout=超时时长


  )---response对象

  post请求一般返回数据都是json数据。

解析json数据的方法:

(1)response.json()--->json字符串所对应的python的list或者dict

(2)用 json 模块。

    json.loads(json_str)---->json_data(python的list或者dict)

    json.dumps(json_data)--->json_str


  post请求能否成功,关键看**请求参数**。

  如何查找是哪个请求参数在影响数据获取?

  --->通过对比,找到变化的参数。

  变化参数如何找到参数的生成方式,就是解决这个ajax请求数据获取的途径。

**寻找的办法**有以下几种:

    (1)写死在页面。

    (2)写在js中。

    (3)请求参数是在之前的一条ajax请求的数据里面提前获取好的。

四、代理使用方法

(1)代理基本原理:

  代理形象的说,他是网络信息中转站。

  实际上就是在本机和服务器之间架了一座桥。

(2)代理的作用:

  a、突破自身ip访问现实,可以访问一些平时访问不到网站。

  b、访问一些单位或者团体的资源。

  c、提高访问速度。代理的服务器主要作用就是中转,

  所以一般代理服务里面都是用内存来进行数据存储的。

  d、隐藏ip。

(3)代理的分类:

  1、按照协议进行划分:

    FTP代理服务器---21,2121

    HTTP代理服务器---80,8080

    SSL/TLS代理:主要用访问加密网站。端口:443

    telnet代理 :主要用telnet远程控制,端口一般为23


  2、按照匿名程度:

    高度匿名代理:数据包会原封不动转化,在服务段看来,就好像一个普通用户在访问,做到完全隐藏ip。

    普通匿名代理:数据包会做一些改动,服务器有可能找到原ip。

    透明代理:不但改动数据,还会告诉服务,是谁访问的。

    间谍代理:指组织或者个人用于记录用户传输数据,然后进行研究,监控等目的的代理。   

(4)在requests模块中如何设置代理?

  proxies = {

    '代理服务器的类型':'代理ip'

  }

  response = requests.get(proxies = proxies)

  代理服务器的类型:http,https,ftp

  代理ip:http://ip:port

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343

推荐阅读更多精彩内容