python爬虫html中文乱码解决方案

  • 解决方案，对获取的page html代码先进行encode("GBK")，然后再使用decode("utf-8")进行解码
  • 例子
#使用post方法来提交用户名和密码登陆 
import urllib2
import urllib

url = 'http://www.dataguru.cn/member.php?mod=logging&action=login'
user_agent = 'Mozilla/5.0'  
values = {'username' : 'python爬虫',  'password' : '123456789' }  #设置账号和密码
data = urllib.urlencode(values)    #将账号和密码编码成url形式
request = urllib2.Request(url,data)  
request.add_header("user-agent","Mozilla/5.0")
response = urllib2.urlopen(request)  
page = response.read().decode("GBK").encode("utf-8")
print(page)
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容