python获取网页内容的相关编码问题

当网页编码不规范无法获取正确编码格式的时候可能会出现的一些问题的解决方法:

1.常规习惯性的添加

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

2.页面编码不是UTF-8冲突的时候处理

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 215: ordinal not in range(128)

# 第三方的模块
import chardet
import requests

url = 'http://my.oschina.net/u/1188877/blog'
req = requests.get(url, timeout=5, verify=False, allow_redirects=True)
# detect()返回 --> {'confidence': 1.0, 'encoding': 'ascii'} --> 前面是准确率，后面是编码格式
codes = charder.detect(url)[1]
page_content = req.content.decode(codes, 'ignore').encode('utf-8')

3.可能存在部分网站没GZIP压缩的情况下，造成requests自动解压处理的时候异常问题

ContentDecodingError: ('Received response with content-encoding: gzip, but failed to decode it.', error('Error -3 while decompressing: incorrect header check',))

4.单独使用上面几种处理方法的时候可能会出现单个比较特殊的错误，所以最好的处理方法是整合上面的所有方案

import sys
reload(sys)
sys.setdefaultencoding('utf-8')
# 第三方的模块
import chardet
import requests

url = 'http://my.oschina.net/u/1188877/blog'
req = requests.get(url, headers={'Accept-Encoding': ''}, timeout=5, verify=False, allow_redirects=True)
codes = charder.detect(url)[1]
page_content = req.content.decode(codes, 'ignore').encode('utf-8')

django提交的POST数据写入含中文编码错误

# 2016-01-18更新
# 网页ajax post的数据为ASCII编码的，遇中文处理会报错
# 'ascii' codec can't decode byte 0xe5 in position 0: ordinal not in range(128)

6.数据库MySQLdb中文乱码小问题

# 报错如下
_mysql_exceptions.OperationalError: (2019, "Can't initialize character set utf-8 (path: /usr/share/mysql/charsets/)")

 # python
 conn = MySQLdb.connect(host, user, passwd, dbname, port, charset="utf-8")

 # 粗心问题，查看/usr/share/mysql/charsets/Index.xml文件会发现并没有utf-8的编码，只有utf8
 conn = MySQLdb.connect(host, user, passwd, dbname, port, charset="utf-8")
 # 数据库设置成utf-8，python文件设置成utf-8，页面文件设置成utf-8，over，一般不会乱码