用代码请求jianshu网站

代码如下所示:

import urllib.parse

import urllib.request

url = 'https://www.jianshu.com'

headers = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'}

req = urllib.request.Request(url=url, headers=headers)

response = urllib.request.urlopen(req)

print(response.read().decode('utf-8'))

由于采用了反爬措施,需要先构造请求头才可以请求该网站。输出信息既是网站的源代码。还可以使用更加方便的add_header()方法添加请求头。例如下面这样:

req = urllib.request.Request(url=url)    # 创建Request实例

req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')    # 这里不是字典

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容