前言
很久之前在没有学过Python的时候偶然发现有种叫爬虫的东西，感觉很好玩。后来就看着一些视频教程跟着学了一些，后来于是就忘记了。但由于本人掌握的实在有限，所以在这里整理一下加深记忆，所以有了这一系列的文章。
更多关注：http://www.mknight.cn/
初识爬虫
关于爬虫是什么就不用解释了,所以直接开始一步一步的写下去。在所有的环境里都是使用的Python3，毕竟3是大势所趋。或许在某些案例里也会有一些Python2的演示，毕竟不是所有的机器都升级到了3。
那么怎么开始爬虫呢？首先每个有点计算机常识的人都知道，比如打开每一个网站所展现出来的文字、画面或者影像等等都是由HTML、js、css等等组成的，而我们要做的就是，根据要求来提炼我们需要的元素或者资源。
#引入urllib
from urllib import request
#指定URL
url = 'http://www.baidu.com'
data = request.urlopen(url)
#别忘了解码指定字符集，也可能是utf-8,unicode等等
data = data.read().decode('utf-8')
print(data)
#执行这段程序就会打印出百度首页的HTML代码
<!DOCTYPE html>
<!--STATUS OK-->
<html>
<head>
<meta http-equiv="content-type" content="text/html;charset=utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=Edge">
<meta content="always" name="referrer">
<meta name="theme-color" content="#2932e1">
......
也许有人会遇到下面这种情况：
Traceback (most recent call last):
File "C:/Users/demo.py", line 6, in <module>
data = request.urlopen(url)
http.client.RemoteDisconnected: Remote end closed connection without response
这是因为有些网站就是不想你们这些小虫子爬，因此就禁止访问。所以呢，就要学习一下伪装浏览器的方法。
伪装浏览器
简单的说User-Agent就是客户端(浏览器)等应用程序使用的一种特殊的网络协议，在每次浏览器（邮件客户端/搜索引擎蜘蛛）进行 HTTP 请求时发送到服务器，服务器就知道了用户是使用什么来访问的。既然是人为规定的协议，那么就是说不管什么浏览器，默认的UA都是可以更改的。有时候为了达到一些不可告人的目的，就经常需要更改一下UA的设置，比如伪装一下浏览器类型，比如把浏览器伪装成手机上网。
在这里就需要用到urllib.request.Request来修改header。
from urllib import request
url = 'http://www.qiushibaike.com'
user_agent = 'Mozilla/5.0 (Windows; U; Windows NT 6.1; zh-CN; rv:1.9.2.15) Gecko/20110303 Firefox/3.6.15'
headers = {'User-Agent':user_agent}
data_res = request.Request(url=url,headers=headers)
data = request.urlopen(data_res)
data = data.read().decode('utf-8')
print(data)
现在就可以使用加工过的headers来抓取网页了。
