今天在Bing搜索界面看到一张背景图片很好看,遂决定下载下来保存。发现网页屏蔽了右键"另存为"功能,看来只能通过其他方法下载了。
第一种方法:审查网络元素 通过URL下载
方法:找到图片超链接,再打开新的网页进行下载。
- 打开 开发者模式 或者按 F12 ,可以看到网络(NetWork)菜单;
- 刷新页面,使用F5 或者 直接刷新;刷新后筛选图片选项,查看当前页面图片:
- 找到图片素材,右键选择复制URL,并在新的网页访问并下载:
第二种方法:Python爬取网页元素
之前一直想了解怎样用Python爬取网页内容,使用什么方法,能爬取到什么信息以及怎样处理这一堆代码呢?
那么在这之前就需要了解,网页分类以及爬虫基本流程有哪些?
网页分类
网页分为静态网页和动态网页;
(1)静态网页 要获取网页数据只需要给服务器发送该网页url地址就行;
(2)动态网页 因为是存储在后端的数据库里。所以要获取动态网页的网页数据,我们需要向服务器发送请求文件的url地址,而不是该网页的url地址。
爬虫基本流程
1) 使用Requests库获取目标链接URL的html文档;
2) 使用浏览器开发者模式,打开网页源代码分析其中的元素节点;
3) 通过Beautiful Soup库或正则表达式获得想要的数据;
4) 将获取的数据保存到本地或者数据库;
操作步骤
- 首先需要安装Python环境,可参考廖雪峰Python教程;
- 在cmd-命令提示符中,输入pip install requests安装Requests库;
- 使用 Pycharm文本编辑器 或 记事本 输入以下代码:
#-*- coding:UTF-8 -*-
import requests #引入Requests库
if __name__ == '__main__':
target = 'https://cn.bing.com/'
req = requests.get(url = target) # 获取目标URL
print(req.text) # 打印目标任务text
- Run执行以上代码,获得与刚刚第一种方法一样的图片链接:
至此,第一个网页爬虫成功~
凡事不将就,深究原理及实现过程是件开心的事,希望你能一直保持学习的热情~冲鸭!小野s