Python 优雅的处理网页URL参数

一:前言

以前年少无知,不知道Python 官方模块里面有处理 URL的,拿起正则一顿匹配,所以在匹配url里面的页面的时候出现了问题。同时也怪我测试环境是Python3 线上生产环境是Python 2,对无序字典urlencode不一样,以及写的正则匹配问题。最后造成的结果是页面少匹配了很多页数据,最后按步测试才找到问题。
所以正确的使用URL处理模块还是方便和明智的

第三方模块有 yurl, Python3内置的有urllib.parse
Python2 处理url的模块不在一个位置, urllib里面有urlencode....,urlparse里面有urlparse,`parse_qsl....

参考链接:

二:目标

举个 利用API 获取数据的例子:
下面有个 url 和一个需要POST的参数字典,需要构造完成后发送参数获取数据,判断数据是否需要进行下一页,如果需要那么 page 部分需要提取出来后加1,再继续请求数据。
其实要做的事情很简单,提取page 加1,继续请求。

raw_url = 'http://api.xxxxxx.com/xxxxxx/xxx.json?'
param_dict = {
    'id': 'xxxxx',
    'card_addition': 1,
    'token': 'fdflsdkr3029432',
    'page': 145334,
}

三:实战代码

当时在Scrapy 的 start_requests 大致这样写的

ids = pipeline.execute()
for id in ids:
    self.param_dict['id'] = id.strip()
    param = urlencode(self.param_dict)
    url = self.raw_url + param
    yield scrapy.Request(url=url, callback=self.parse)

# 

然后在 parse 里面对response做判断如果还需要对该id下的数据抓取下一页数据。
当时我直接对response.url正则匹配再加上Python3与Python 2,对无序字典urlencode不一样就出现少匹配了很多页面的问题。所以回来我利用python内置的URL 处理模块,我就改了代码。

# 解析url,获取url里面的各种组成成分
parsed_url = urlparse(response.url)
# 获取url组成成分里面的 query 参数部分
query = dict(parse_qsl(parsed_url.query))
# 获取page的数值,加1后重新urlencode 这样 下一页的 url就构造完成了
page = query.get('page')
query['page'] = int(page) + 1
param = urlencode(query)
next_url = raw_url + param

四: 后记

多多思考,多多搜索。加油!
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 爬虫的基本流程 一、发送HTTP请求(Request)通过Python库向目标站点发送HTTP请求,等待服务器响应...
    晓枫_0544阅读 796评论 0 0
  • Python爬虫入门(urllib+Beautifulsoup) 本文包括:1、爬虫简单介绍2、爬虫架构三大模块3...
    廖少少阅读 9,931评论 0 6
  • Python 面向对象Python从设计之初就已经是一门面向对象的语言,正因为如此,在Python中创建一个类和对...
    顺毛阅读 4,238评论 4 16
  • 1. 网页抓取 所谓网页抓取,就是把URL地址中指定的网络资源从网络流中抓取出来。在Python中有很多库可以用来...
    rhlp阅读 984评论 0 0
  • 高阶函数:将函数作为参数 sortted()它还可以接收一个key函数来实现自定义的排序,reversec参数可反...
    royal_47a2阅读 709评论 0 0