利用python+scrapy爬虫时中文转码问题

在使用python+scrapy爬虫时,遇到过中文转码的问题,可能在大家已经尝试了一些方法依然没有解决,比如在代码中加入# -*- coding: utf-8 -*-,或者使用了encode('utf-8'),在这些方法后依然出现乱码问题,那么你现在可以尝试这种方法,在代码中加入:

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

加入之后,转码问题便可以解决,我的是这样处理的,不知道对大家是否通用

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 可以看我的博客 lmwen.top 或者订阅我的公众号 简介有稍微接触python的人就会知道,python中...
    ayuLiao阅读 3,151评论 1 5
  • 字符集和编码简介 在编程中常常可以见到各种字符集和编码,包括ASCII,MBCS,Unicode等字符集。确切的说...
    兰山小亭阅读 8,580评论 0 13
  • http://python.jobbole.com/85231/ 关于专业技能写完项目接着写写一名3年工作经验的J...
    燕京博士阅读 7,615评论 1 118
  • 几个基本概念 bit二进制位, 是计算机内部数据储存的最小单位,11010100是一个8位二进制数。一个二进制位只...
    西电大侠阅读 3,590评论 1 8
  • 什么是编码 任何一种语言、文字、符号等等,计算都是将其以一种类似字典的形式存起来的,比如最早的计算机系统将英文文字...
    随风化作雨阅读 1,562评论 1 2