PyQuery 很好用,但是在抓取 GB2312 编码的时候,各种乱码问题很是让人抓狂。
这个时候,使用requests来搞定它,先用 requests 抓取网页内容,转换编码,再交给 PyQuery 去处理。
url = '网页URL'
r = requests.get(url)
r.encoding = 'gb2312'
d = pq(r.content)
搞定,打完收工
PyQuery 很好用,但是在抓取 GB2312 编码的时候,各种乱码问题很是让人抓狂。
这个时候,使用requests来搞定它,先用 requests 抓取网页内容,转换编码,再交给 PyQuery 去处理。
url = '网页URL'
r = requests.get(url)
r.encoding = 'gb2312'
d = pq(r.content)
搞定,打完收工