好久没有爬取过数据了,最近有个朋友像爬点儿数据下来,就正好来回顾下。
首先问题是这样的:
'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte
看上去是一个乱码的问题,但是我是想要将返回的数据,转成UTF-8,难道是返回的数据有问题,看了眼,可以输出的
看上去,应该是Unicode,然后就百度了下,发现,可能是内容压缩的问题
因为我在请求头上加了一个参数:
这个本来是从浏览器里直接复制过来的,应该是压缩了,所以,就先解压下看看
然后,再次数据,恩,没问题了。