A.Python爬取网页内容全解析

    今天在Bing搜索界面看到一张背景图片很好看，遂决定下载下来保存。发现网页屏蔽了右键"另存为"功能，看来只能通过其他方法下载了。

第一种方法：审查网络元素 通过URL下载

方法：找到图片超链接，再打开新的网页进行下载。

• 打开 开发者模式 或者按 F12 ，可以看到网络（NetWork）菜单；
• 刷新页面，使用F5 或者 直接刷新；刷新后筛选图片选项，查看当前页面图片：
  
  选择图片类型
• 找到图片素材，右键选择复制URL，并在新的网页访问并下载：
  
  找到图片URL，新页面下载即可

第二种方法：Python爬取网页元素

之前一直想了解怎样用Python爬取网页内容，使用什么方法，能爬取到什么信息以及怎样处理这一堆代码呢？
那么在这之前就需要了解，网页分类以及爬虫基本流程有哪些？

网页分类

网页分为静态网页和动态网页；
（1）静态网页 要获取网页数据只需要给服务器发送该网页url地址就行；
（2）动态网页 因为是存储在后端的数据库里。所以要获取动态网页的网页数据，我们需要向服务器发送请求文件的url地址，而不是该网页的url地址。

爬虫基本流程

1） 使用Requests库获取目标链接URL的html文档；
2） 使用浏览器开发者模式，打开网页源代码分析其中的元素节点；
3） 通过Beautiful Soup库或正则表达式获得想要的数据；
4） 将获取的数据保存到本地或者数据库；

操作步骤

• 首先需要安装Python环境，可参考廖雪峰Python教程；
• 在cmd-命令提示符中，输入pip install requests安装Requests库；
• 使用 Pycharm文本编辑器 或 记事本 输入以下代码：

#-*- coding:UTF-8 -*-
import requests               #引入Requests库
if __name__ == '__main__':              
    target = 'https://cn.bing.com/'        
    req = requests.get(url = target)         # 获取目标URL
    print(req.text)                  # 打印目标任务text

• Run执行以上代码，获得与刚刚第一种方法一样的图片链接：

至此，第一个网页爬虫成功~

凡事不将就，深究原理及实现过程是件开心的事，希望你能一直保持学习的热情~冲鸭！小野s