requests库-伪装请求

伪装请求是将我们爬虫发送的请求伪装成更接近人使用浏览器或其他工具发送的用户请求。伪装请求的方法很多,这里要说的是伪装请求头和使用代理IP发起请求。

伪装请求头

fake_useragent库:一个很方便实用的请求头生成的库,可以生成各种浏览器的请求头,也可以随机生成请求头。

生成浏览器的请求头

from fake_useragent import UserAgent

header = UserAgent()

# 各浏览器的User-Agent

#chrome : header.chrome

#ie  :  header.ie

#ie  :  header.ie

#opera  :  header.opera

#firefox  :  header.firefox

#safri  :   header.safari

随机生成请求头

from fake_useragent import UserAgent

header = UserAgent()

print(header.random)

使用代理IP

普通请求:直接发送请求到服务器

代理请求:先将请求发送给代理服务器,代理服务器再将请求发送给目标服务器,目标服务器先将数据返回给代理服务器,代理服务器将数据返回给请求的客户端。

代理IP分为高匿和透明两种,高匿是指服务器不能解析出来源地址,透明指可以解析出原地址。

proxies = {

      "http": "http://10.10.1.10:3128",

      "https": "http://10.10.1.10:1080",

}

requests.get("http://example.org", proxies=proxies)

若使用付费代理需要密码授权

proxies = { "http": "http://user:pass@10.10.1.10:3128/",}

#user和pass对应用户名和密码

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 深入浅出HTTP协议(WEB开发和面试必备) 1.基础概念篇 a.简介 HTTP是Hyper Text Trans...
    半世韶华忆阑珊阅读 1,365评论 0 7
  • 前端开发面试题 面试题目: 根据你的等级和职位的变化,入门级到专家级,广度和深度都会有所增加。 题目类型: 理论知...
    怡宝丶阅读 2,717评论 0 7
  • 我们东北,管大学还有一种叫法。大“xiao”,拼音二声! 我奶奶告诉我,不管到什么时候一定要上大“xiao”,...
    我禹阅读 209评论 0 2
  • 最近在做持续集成交付部署的事,想系统的学一下Docker。看到这个系列教程,将自己认为重要的知识点摘抄下来,推荐大...
    questionuncle阅读 609评论 0 2
  • 人生像什么?不同的人有不同的回答。林夕说"人生如下棋",有人还没开场,有人得失参半,有人尘埃落定。戈舟说"...
    若水袁阅读 1,213评论 0 2

友情链接更多精彩内容