解决fiddler和pycharm抓取部分网页中文乱码的问题

近日在学习网页爬虫的时候发现对于某些用gbk编码的网页,post请求的参数在fiddler中显示是乱码,而用pycharm抓取用gbk编码的网页的时候也会出现乱码。现将解决办法记录一下。

一、fiddler中的post参数乱码

1、运行regedit打开注册表

2、找到HKEY_CURRENT_USER\Software\Microsoft\Fiddler2

3、右键新建,选字符串值加上HeaderEncoding然后值输入 GBK

4、重启软件即可

二、pycharm抓取网页乱码

最后的response加上decode即可,示例代码如下:

content = response.read().decode('gbk')
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容