今天遇到一个页面，明明 有内容，可是用response.doc节点，就是解析不出内容，显示的是None。
经过排查，是因为这个页面里有一些特殊字符（乱码），pyspider内置的pyquery没能正确转码页面。
解决办法：
手动转码一次，然后忽略错误编码字符：
response.content = (response.content).decode('gbk', errors='ignore') #目标站是GBK 编码
解决pyspider使用response.doc 节点等于None的问题
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 编码问题一直困扰着开发人员，尤其在 Java 中更加明显，因为 Java 是跨平台语言，不同平台之间编码之间的切换...
- 本文转自:http://www.crifan.com/crifan_released_all/books/ Pyt...
- Python中文乱码，是一个很大的坑，自己不知道在这里遇到多少问题了。还好通过自己不断的总结，现在遇到乱码的情况越...
