Python (判断网页编码类型)爬取网站

import requests
import chardet

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 
Safari/537.36',
}
response = requests.get('http://www.baidu.com/',headers =headers )
 # print response.content

判断网页的编码类型

print chardet.detect(response.content)['encoding']

# print chardet.detect(response.content)

结果:

    >>   utf-8
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 字符集和编码简介 在编程中常常可以见到各种字符集和编码,包括ASCII,MBCS,Unicode等字符集。确切的说...
    兰山小亭阅读 8,793评论 0 13
  • 大概每个人在使用软件时都遇到过乱码的问题,这是由于字符的编码和解码方式不一致导致,我们知道计算机只认识二进制数据,...
    楚客阅读 1,466评论 1 9
  • 可以看我的博客 lmwen.top 或者订阅我的公众号 简介有稍微接触python的人就会知道,python中...
    ayuLiao阅读 3,267评论 1 5
  • 工作闲暇,带我的工友,一位30岁老哥过来和我唠嗑,问我来公司几天感觉如何,有没有要继续跳的想法。我无奈一笑,回复说...
    傍晚_有阳光阅读 172评论 0 0
  • 失眠又开始出现了,这几天雾霾非常的严重,空气质量都已爆表,可人们还在不停歇的奔波着,而我还是一无所获到处瞎撞,哎…...
    小爪1002阅读 157评论 0 0