爬虫初步
爬虫概念
都有哪些语言可以实现爬虫
（1）php, 号称世界上最好的语言，可以实现爬虫，但做的不好，天生对多进程和多线程支持的不好
（2）java，可以实现，而且做的非常好，是python爬虫最主要的竞争对手, 但语言不简洁，代码臃肿，重构成本高 （3）c、c++，也可以实现爬虫，非常强大，但是不是一个好的选择 （4）python，可以实现，号称世界上最优雅的语言，代码简洁，学习成本低，执行效率也好，而且还有一个非常强大的爬虫框架 scrapy
通用爬虫
例子：百度、谷歌、360、搜狗、必应等等，搜索引擎
工作： （1）爬取互联网所有的数据 （2）对数据存储并且处理 （3）给用户提供检索服务 如何让百度抓取你的网站？ （1）静静地等待，百度会和DNS服务商合作 （2）主动提交自己的url （3）在其它网站设置友情链接 我的网站不想让百度抓取？ 君子协议，口头协议，robots协议 存放到网站的根目录下，限制搜索引擎可以爬取哪些，不可以爬取哪些
<pre spellcheck="false" class="md-fences md-end-block contain-cm modeLoaded" lang="" contenteditable="false" cid="n26" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Consolas, 'Liberation Mono', Courier, monospace; font-size: 0.9em; white-space: normal; display: block; page-break-inside: avoid; text-align: left; background-image: inherit; background-size: inherit; background-attachment: inherit; background-origin: inherit; background-clip: inherit; background-color: rgb(248, 248, 248); position: relative !important; border: 1px solid rgb(223, 226, 229); border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; padding: 8px 1em 6px; margin-bottom: 15px; margin-top: 15px; width: inherit; color: rgb(51, 51, 51); font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-indent: 0px; text-transform: none; widows: auto; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; background-position: inherit inherit; background-repeat: inherit inherit;">##### 如何提升网站排名（SEO）</pre>
（1）pagerank值排名，根据点击量、浏览量等，相当靠谱
（2）竞价排名
<pre spellcheck="false" class="md-fences md-end-block contain-cm modeLoaded" lang="" contenteditable="false" cid="n31" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Consolas, 'Liberation Mono', Courier, monospace; font-size: 0.9em; white-space: normal; display: block; page-break-inside: avoid; text-align: left; background-image: inherit; background-size: inherit; background-attachment: inherit; background-origin: inherit; background-clip: inherit; background-color: rgb(248, 248, 248); position: relative !important; border: 1px solid rgb(223, 226, 229); border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; padding: 8px 1em 6px; margin-bottom: 15px; margin-top: 15px; width: inherit; color: rgb(51, 51, 51); font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-indent: 0px; text-transform: none; widows: auto; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; background-position: inherit inherit; background-repeat: inherit inherit;">##### 通用爬虫缺点：</pre>
（1）抓取很多数据都是无效的
（2）不能根据自己的需求抓取数据
聚焦爬虫
根据自己特定的需求，来抓取指定的数据
如何实现聚焦爬虫？ 网页的特点： （1）网页都有自己唯一的url （2）网页都是由html组成 （3）网页传输都是使用http、https协议
思路：
（1）给一个url
（2）模拟浏览器发送http请求 （3）从html结构中提取指定的数据，从字符串中根据规则提取指定数据
开发环境：
windows系统，python3.x（64位），sublime编辑器，pycharm，vscode
整体内容：
（1）涉及到的python库
urllib,requests,selenium,jsonpath,lxml等一些库 （2）解析内容 正则表达式解析，bs4解析，xpath解析，jsonpath解析 （3）采集动态html DOM操作，动态的添加或者删除节点，selenium+phantomjs （4）scrapy框架 异步高性能网络爬虫框架的学习 （5）scrapy-redis分布式部署 在scrapy的基础上，多了一套分布式部署的组件 （6）涉及到的爬虫-反爬虫-反反爬虫之间的斗争 反爬会伤害真实的用户，一般情况下，反爬也就这么两点：第一个UA，第二个封ip，第三个验证码，光学识别，打码平台 换思路解决问题：其他网站，手机端等
关于http协议
http和https的区别
HTTPS和HTTP的区别主要如下： 1、https协议需要到ca申请证书，一般免费证书较少，因而需要一定费用。 2、http是超文本传输协议，信息是明文传输，https则是具有安全性的ssl加密传输协议。 3、http和https使用的是完全不同的连接方式，用的端口也不一样，前者是80，后者是443。 4、http的连接很简单，是无状态的；HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议，比http协议安全。
加密：公钥私钥
客户端：123456用秘钥加密=======》服务端：用秘钥解密得到123456 秘钥相同称之为对称加解密 秘钥不相同称之为非对称加解密 客户端：123456用公钥加密=======》服务端：用私钥解密得到123456 http协议学习：
请求：包含请求行、请求头、请求内容
请求行：请求方式、请求资源、协议版本号
请求头：
accept:浏览器通过这个头告诉服务器，它所支持的数据类型
Accept-Charset: 浏览器通过这个头告诉服务器，它支持哪种字符集
Accept-Encoding：浏览器通过这个头告诉服务器，支持的压缩格式
Accept-Language：浏览器通过这个头告诉服务器，它的语言环境
Host：浏览器通过这个头告诉服务器，想访问哪台主机If-Modified-Since: 浏览器通过这个头告诉服务器，缓存数据的时间
Referer：浏览器通过这个头告诉服务器，客户机是哪个页面来的 防盗链
Connection：浏览器通过这个头告诉服务器，请求完后是断开链接还是何持链接
-
X-Requested-With: XMLHttpRequest 代表是ajax的请求
响应：响应行、响应头、响应内容
响应行里面，常见的状态码
200：请求成功 处理方式：获得响应的内容，进行处理
301：请求到的资源都会分配一个永久的URL，这样就可以在将来通过该URL来访问此资源 处理方式：重定向到分配的URL
302：请求到的资源在一个不同的URL处临时保存 处理方式：重定向到临时的URL
304：请求的资源未更新 处理方式：丢弃，使用本地缓存文件
403：禁止 处理方式：丢弃
404：没有找到 处理方式：丢弃
405：请求方式不对
500：服务器内部错误 服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理。一般来说，这个问题都会在服务器端的源代码出现错误时出现。
响应头
Location: 服务器通过这个头，来告诉浏览器跳到哪里
Server：服务器通过这个头，告诉浏览器服务器的型号
Content-Encoding：服务器通过这个头，告诉浏览器，数据的压缩格式
Content-Length: 服务器通过这个头，告诉浏览器回送数据的长度
Content-Language: 服务器通过这个头，告诉浏览器语言环境
Content-Type：服务器通过这个头，告诉浏览器回送数据的类型
Refresh：服务器通过这个头，告诉浏览器定时刷新
Content-Disposition: 服务器通过这个头，告诉浏览器以下载方式打数据
Transfer-Encoding：服务器通过这个头，告诉浏览器数据是以分块方式回送的
Expires: -1 控制浏览器不要缓存
Cache-Control: no-cache
Pragma: no-cache
响应内容：html、css、js、图片
抓包工具
（1）谷歌浏览器自带抓包工具 右键开发者工具==》network XHR: XMLHttpReqeust 前端要想发送ajax请求，通过它创建对象，发送请求 query_string_parameters : 请求字符串，get参数 formdata ： 如果是post参数（2）专业工具，fiddler，charles…… 专业抓包工具，比谷歌强在了跳转的时候很多请求都能抓取到 前端要像发送ajax请求，创建对象调用对象方法需要通过XHR
urllib库
urllib库是自带的python库，模拟发送http请求 在python 2系列中使用：urllib urllib2 在python 3系列中使用：urllib
urllib库的使用
-
urllib.request 模拟发送请求
-
urlopen(url) : 向url发送请求，得到响应对象
<pre spellcheck="false" class="md-fences md-end-block contain-cm modeLoaded" lang="python" contenteditable="false" cid="n213" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Consolas, 'Liberation Mono', Courier, monospace; font-size: 0.9em; white-space: normal; display: block; page-break-inside: avoid; text-align: left; background-image: inherit; background-size: inherit; background-attachment: inherit; background-origin: inherit; background-clip: inherit; background-color: rgb(248, 248, 248); position: relative !important; border: 1px solid rgb(223, 226, 229); border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; padding: 8px 1em 6px; margin-bottom: 15px; margin-top: 15px; width: inherit; background-position: inherit inherit; background-repeat: inherit inherit;">import urllib.request
url = 'http://www.baidu.com/'
response = urllib.request.urlopen(url)
print(response)
print(response.read())</pre>
可以看到结果如下：
[图片上传失败...(image-6c985d-1533895191853)]
-
print(response.read().decode('utf8'))：得到了二进制的格式，下一步我们需要使用decode将二进制格式解码为字符串格式
response属性和方法
print(response.url)：拿到请求的url
print(response.headers)：拿到请求的headers
print(response.status)：拿到请求的状态码
urllib.parse: 处理参数或者url
urllib.error: 如何处理异常
-
保存到文件
将抓取的数据保存到文件有两种方式：
第一种方式：通过with打开文件（注意统一编码格式）
- <pre spellcheck="false" class="md-fences md-end-block contain-cm modeLoaded" lang="python" contenteditable="false" cid="n249" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Consolas, 'Liberation Mono', Courier, monospace; font-size: 0.9em; white-space: normal; display: block; page-break-inside: avoid; text-align: left; background-image: inherit; background-size: inherit; background-attachment: inherit; background-origin: inherit; background-clip: inherit; background-color: rgb(248, 248, 248); position: relative !important; border: 1px solid rgb(223, 226, 229); border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; padding: 8px 1em 6px; margin-bottom: 15px; margin-top: 0px; width: inherit; background-position: inherit inherit; background-repeat: inherit inherit;"># 将获取的响应内容保存到文件中
with open('baidu1.html', 'a', encoding='utf8') as fp:
fp.write(response.read().decode('utf8'))
以二进制的格式保存
with open('baidu2.html', 'wb') as fp:
fp.write(response.read())</pre>
第二种方式：直接以二进制的格式写入
<pre spellcheck="false" class="md-fences md-end-block contain-cm modeLoaded" lang="python" contenteditable="false" cid="n252" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Consolas, 'Liberation Mono', Courier, monospace; font-size: 0.9em; white-space: normal; display: block; page-break-inside: avoid; text-align: left; background-image: inherit; background-size: inherit; background-attachment: inherit; background-origin: inherit; background-clip: inherit; background-color: rgb(248, 248, 248); position: relative !important; border: 1px solid rgb(223, 226, 229); border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; padding: 8px 1em 6px; margin-bottom: 15px; margin-top: 15px; width: inherit; color: rgb(51, 51, 51); font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-indent: 0px; text-transform: none; widows: auto; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; background-position: inherit inherit; background-repeat: inherit inherit;"># 实现发送请求，将内容写入文件
urllib.request.urlretrieve(url, 'baidu3.html')</pre>
- urlretrieve(url, filepath) ： 向url发送请求，直接将响应写入到filepath中
-
编码：
-
字符串格式==》字节格式
encode('utf8')
-
字节格式==》字符串格式
decode('gbk')
-
爬取图片的保存
下载图片：得到图片的src属性，就可以将图片下载到本地
有两种方式，主要是对图片是做二进制的处理:
<pre spellcheck="false" class="md-fences md-end-block contain-cm modeLoaded" lang="python" contenteditable="false" cid="n280" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: Consolas, 'Liberation Mono', Courier, monospace; font-size: 0.9em; white-space: normal; display: block; page-break-inside: avoid; text-align: left; background-image: inherit; background-size: inherit; background-attachment: inherit; background-origin: inherit; background-clip: inherit; background-color: rgb(248, 248, 248); position: relative !important; border: 1px solid rgb(223, 226, 229); border-top-left-radius: 3px; border-top-right-radius: 3px; border-bottom-right-radius: 3px; border-bottom-left-radius: 3px; padding: 8px 1em 6px; margin-bottom: 15px; margin-top: 15px; width: inherit; color: rgb(51, 51, 51); font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: auto; text-indent: 0px; text-transform: none; widows: auto; word-spacing: 0px; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; background-position: inherit inherit; background-repeat: inherit inherit;">import urllib.request
url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1533639915215&di=1bbd3901c9991b363ac0211dc861a909&imgtype=0&src=http%3A%2F%2Fhbimg.b0.upaiyun.com%2F225a5f3f75d1d4c59532704782eebd25d323fd801e57a-VlY5c4_fw658'
第一种方式，发送请求，获取响应
response = urllib.request.urlopen(url)
with open('meinv.jpg', 'wb') as fp:
fp.write(response.read())
第二种方式，
urllib.request.urlretrieve(url, 'meinv2.png')</pre>
