网络爬虫:从python2到python3

很久以前,python2的时候,简单的弄过一点爬虫程序,后来,到3之后,发现之前的好多程序都特么不能用了,最最基本的抓页面都不行了,就重新写了一个。

python2缩写版,大概是这样的,忘记了没验证

import urllib2
response = urllib2.urlopen('http://www.baidu.com/')
html = response.read()
print html

python3详细版

import urllib.request

request = urllib.request.Request('http://www.baidu.com/')
response = urllib.request.urlopen(request)
if response.getcode() != 200:
    print("None!")
else:
    html = response.read()
    # 如果返回结果不为空
    if html is not None:
        # 还必须编码,不然格式不对
        html = html.decode("utf-8")
        print(html)
    else:
        print("Maybe The Program is Error!")

# 头信息
print(response.info())
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容