一直都觉得微信公众号是爬虫的理想对象,获取到的对象url在手机上展示非常的赞,广告排版都在能接受的范围内,正好最近2练手python爬虫,果断的上了。
首先分析一下搜狗微信公众号的手机端:
Chrome
这里的请求非常简单 分析之后可以发现基本就是:
url='http://weixin.sogou.com/wapindex/wap/0612/wap_9/%d.html'%i
变换的也就是后面的数字
然后正常使用requests去请求:
response=requests.get(url,headers=mergedHeaders)
然后就乱码了,这里我尝试了很多解码方式,但是都解决不了,当然最后折腾了好久之后发现是html的gzip压缩问题,在网络上查询基本都是urllib2的解决办法
重新查询requests的官方文档发现了我需要的:
requests官方文档
很明显,这里说了使用response.content方法
Requests会自动解码gzip,不过返回的是byte内容,所以我们只需要将byte to String 就可以了,好,尝试一下
转换方法:
def byteToString(byteData):
'''
将byte转化为String
:parambyteData:
:return: String
'''
return BytesIO(byteData).read().decode()
然后请求内容:
response=requests.get(url,headers=mergedHeaders)
ifresponse.headers['Content-Encoding']=='gzip':
result=BytesIO(response.content).read().decode()
return result
else:
return response.text
问题解决
问题解决