python爬虫是在学习python时比较容易上手的学习方式，爬虫的思路简要以下几点：
1.获取需要爬取页面的网址，并且对网页内容进行分析。（主要就源代码讨论，如果我们需要的内容没有在源代码出现，则需要进行抓包分析）
2.找到我们需要爬取的内容时我们就要用正则表达式、beautifulsoup或者是xpath进行切割我们需要的字段。
3.将爬取到的内容进行存储。
这是一般网站爬取的基本点，但是我们在遇到需要登陆或者注册的网站时就会遇到验证码，验证码的出现就是为了区分人和机器，但是随着现在人工智能的发展，这种区分已经不明确了，在python中有PIL库进行图像处理、机器学习也能更好地解决验证码的问题，下面就中国执行信息公开网（http://shixin.court.gov.cn/）给大家进行详细的讲解。
咳咳 大家注意这一行字！！！！！！！！
一、事前准备
1.python版本 python2.7
2.系统版本 ubantu 16.04
3.所需库
import urllib2
import urllib
from bs4 import BeautifulSoup
import time
import re
import requests（包含了我爬取"中国执行信息公开网"的所有用到的库）
使用了beautifulsoup+正则表达式的方式提取我需要的内容
二、查看网站
推荐使用谷歌浏览器 使用F12键进入前端调试（有的电脑需要使用Fn+F12 比如我的）
火狐浏览器显示我实在不喜欢，所以推荐使用谷歌的 有喜欢火狐的童鞋们也可以使用
点击进来我们可以看到一个类似于登陆和注册的查询表单，我们通过查看页面源代码可以发现下图这样的信息
可以发现我们需要的是pname、pcardname、pprovince以及我们需要的验证码pcode。然后我就想直接写入这些内容直接post响应，然后我发现以下：
出现错误，点开F12可以发现post响应中提交了五个信息：
那么最后一个信息我们应该能够猜到是和验证码绑定的id号（比如说我们两个人同时登陆网站，同时提交了验证码然后进行验证，系统如何知道我们提交的验证码是否正确，就是通过绑定的id号来识别）所以我们现在的工作就是要找到对应的id号。
三、找到对应的id号
首先通过分析get响应可以发现我们实际提交的表单在网页http://shixin.court.gov.cn/index_new_form.do中，打开链接能够看到：
这就是一个单独版的表单嘛！！查看源代码：
能够看到：
src="captchaNew.do?captchaId=39821d3fd1a2470ca658bb18585093fc&random=0.4255476101932901" title="点击重新获取验证码"
onclick="this.src='captchaNew.do?captchaId=39821d3fd1a2470ca658bb18585093fc&random=0.4984367166835566'"
能够发现id号隐藏在其中的，还有random号，共同组成了我们需要查看的网页（感觉就是把原网页进行了分割）
这一部分代码的实现我是采用了beautifulsoup实现的，代码如下：
url="http://shixin.court.gov.cn/index_new_form.do"
data=requests.get(url).content.encode('utf-8')
soup=BeautifulSoup(data,'lxml')
captchaId = soup.find('img',attrs={'id':'captchaImg'})['src'].split('?')[1].split('&')[0].split('=')[1]
四、识别验证码
扯了这么多现在回到我们最原始的问题，那么我们应该怎么去识别验证码呢？
首先我们要了解python的图像识别库 python image libary，叫做PIL库
1.首先要安装pil库，pip install pil不能安装的童鞋可以参考这篇文章
2. pytesser（识别验证码的库，需要使用Tesseract这个开源项目）
3.Tesseract
全部安装完成后我们就要对网站的验证码进行查看
1.第一种看似很简单，但能够看到它整体有一种毛糙感，（浑身都是噪点的感觉，具体也不是专业做这方面的，对这块也不熟悉，反正这个验证码还不能解决，希望和大大们一起探讨探讨）
2.这种验证码含有干扰线，但我们能够发现颜色占主体的还是四个字符，所以我们可以通过获取颜色最多的四种颜色来去除干扰线
3.第三种就十分简单了，整体扭曲的程度也不大，可以直接使用pytesseract.image_to_string()来得到
五、对验证码的处理
对验证码的处理大致分为：去除噪点、去除干扰线（如果存在干扰线）、二值化（生成灰度图）
我们会发现虽然去掉了干扰线，但是对应的有很多地方会缺失内容，会导致不能直接使用pytesseract.image_to_string()直接进行读取，就必须采用机器学习的方式来读取（期待有更好更简单的方法
）
注意：这里因为是通过不同的颜色进行区分，所以我们必须在二值化之前进行去除干扰线的操作。另外一种添加干扰线的方式是添加多条较细的线条，这里可以根据线条的宽度进行区别实现去除操作。
参考：https://blog.csdn.net/qq_39620871/article/details/80732521
