爬取网页数据需要获取Header,即User-Agent,不同浏览器的User-Agent不同。
下面以Chrome 浏览器为例子,描述获取User -Agent 的步骤。
方法1:
1)打开浏览器,输入:about:version,
2)按回车,用户代理值即为User-Agent:
image.png
方法2:
1.打开浏览器,任意打开一个网页,比如https://www.baidu.com/
2.打开开发者工具:F12
3.在网页上点击【百度一下】
4.选中.svg接口,查看Header下的User-Agent 值:
image.png