最近在玩Python3做模拟http协议的请求的时候发现一个问题。。。。
在对html response的decode时抛出，代码原样为：
response = urllib.urlopen(dsturl)
content = response.read().decode('utf-8')
抛出错误为
File "./oatest_p3.py", line 20, in getAddEvent
content = response.read().decode()
UnicodeDecodeError: 'utf8' codec can't decode byte 0xb2 in position 19107: invalid start byte
想了半天也不明白的是在它声明为utf-8编码的网页中为什么会出现utf-8无法解析的字符？
通过万能的度娘，发现解决方式如下：
可以使用decode('utf-8', 'ignore')
知识点为：
decode是把一个无编码的str，依照给入的参数为解码系统，解码后映射到unicode字符集，返回为unicode对象，如果不是关键内容，解不出来就ignore也是可以的。浏览器的解码部分通常有个fallback，对utf8解不出来的字符可以尝试使用本地local
为了以后用python3更省心一些，索性把相关的编码知识看了一下，做一个小结，希望对同掉入坑的朋友有些帮助。
编码的黑历史
首先我们来理一下编码的发展历史：
最开始出现计算机的时候，人类试图用一个叫ASCIIde东西来完成和机器之前的所有对话。
但很快发现，这样是完全不够用的，各个国家有各个国家的语言，比如中国，对于老外来说如同天书的中文，对于机器来说同样无法解读，此时聪明的人类就发明了GB2312的编码来表示中文，很快发现一些特殊的字无法辨识，就又开发了GBK可以表示更多的字，后来发现，少数民族的字连GBK都搞不定，就又多了一个GB18030，从中国的编码发展史就可以看出每个国家都有自己的编码格式。
照这样发展下去，人类很快就遇到和造巴比伦塔一样的问题。所以Unicode横空出世，解决了所有的问题，但就有一个小缺点，特别占存储空间，是ASCII的两倍，在硬件性能还是瓶颈的时候，那个酸爽，你懂的。于是呢，聪明的人类发明了遇长则长，遇短则短的Utf-8，这样就可以更加灵活的使用存储空间了。
看完上面长长的发展历史，码农们的内心都是崩溃的，你说没事儿整那么多的编码格式干嘛！@——@ 干嘛！
不过，这个已经是既定事实，我们也只好接受。
Python3中默认是UTF-8的编码格式，可以通过以下代码来查看：
import sys
sys.getdefaultencoding()
那么问题就来了，如果我的编码文件和需要解释它的工程，控制台都不是一个编码格式，那怎么办呢？
这时，就需要祭出Python3中的针对编码问题特别能打的两个SSRencode和decode 函数，特别是在做爬虫项目的时候这两个函数用的熟练非常有好处（不要问我是怎么知道的。。。）。
encode的作用，使我们看到的直观的字符转换成计算机内的字节形式。decode刚好相反，把字节形式的字符转换成‘人话’。
\x表示后面是十六进制， 在Python3中，以字节形式表示的字符串则必须加上前缀b，也就是写成上图的b'xxxx'形式。
如果是中文字符，在用‘GBK’来encode了以后使用Python3中默认的decode来解码的时候就会出现报错的情况，如上图所示。所以，可以ignore了。否则就需要使用对应的编码格式进行解码，中文网站最常出现的就是GBK或者GB2312.
嗯，就这酱紫，先分析到这里。有新的发现再来补充。
