模拟查询地铁卡记录

关键词：python 模拟登陆验证码识别 bs4解析网页 pandas数据处理

1. 思路

这几天尝试写了个脚本模拟登陆获取地铁一卡通的充值和消费记录，学习了不少新东西，总结下记录下来。整个流程大概这样，首先模拟登陆一卡通的查询网址，分析如何获取验证码，然后就是下载验证码并识别，分析网站post数据字段，模拟post构造的数据登陆，获取登陆后的网页，bs4解析网页找到需要的数据筛选出来，pandas处理这些数据使其结构化。

2. 模拟登陆

2.1 cookie的处理

因为涉及到验证码的问题，登陆需要使用cookie。requests可以很方便的使用cookie，只需要在最开始构建一个会话session，接下来的请求以这个session为基础，requests会自动为后面的请求带上cookie。

conn = requests.session()
resp = conn.get(url, headers=headers, verify=False)

2.2 SSL证书

有些网站需要校验SSL证书，我们可以手动在浏览器中下载这个网站的SSL证书存放到本地，在构建请求的时候的用verify字段指定证书的路径。但是我没有尝试成功，目前的猜想是网站上有些字段需要携带在请求里一起验证。

最简单的解决办法就是不做验证，可以在会话开始指定，也可以在请求字段中指定：

conn.verify = False

或者：

resp = conn.get(url, headers=headers, verify=False)

2.3 验证码获取和识别

如何获取到验证码呢？我们知道每点击一次验证码图片就会刷新一次，由此可以得出：点击验证码图片的时候浏览器会重新向服务器发送请求，我们可以在开发者工具里点击验证码并捕捉这个请求，观察其特征。

验证码请求

可以发现，验证码的URL有固定的结构，其中变化的部分就是后面的一串数字，不难发现这串数字就是时间戳。知道了验证码的URL后，我们就可以构建请求下载验证码了。

# 构造验证码地址
id = time.time()*1000
img_url = url + 'captcha.svl?d=' + str(int(id))

# 保存验证码
img_resp = conn.get(img_url, headers=headers)
with open('verify.jpg', 'wb') as fd:
    for chunk in img_resp.iter_content(chunk_size=1024):
        fd.write(chunk)

利用Tesseract-OCR、pytesseract和Pillow库识别验证码，可以参考我之前的这篇文章：python验证码识别。

3. 模拟填写表单

识别完验证码就可以模拟填写表单了。首先我们找到表单提交的URL以及相关的字段，还是利用浏览器开发者工具观察提交表单时候产生的请求并分析。

表单的请求

可以看到，表单中包含四个字段，我们也同样构造这几个字段，构建一个post请求给指定的URL。

params = {
    'pageNo': '1', 
    'iscapt': 'true', 
    'cardNo': cardNumber, 
    'capstr': verify_code
}
post_url = 'https://www.bmac.com.cn/kpcx/inquiryCardRecord.jhtml'
post_resp = conn.post(post_url, data=params, headers=headers)

4. 分析html数据

这部分主要是bs4的用法，这块儿我还不是很熟，总结下几个函数的用法。

find_all()

find_all( name , attrs , recursive , text , **kwargs )

find_all() 方法搜索当前tag的所有子节点，并判断是否符合过滤器的条件。
soup.find_all("a")  ##查找文档中所有的<a>标签
soup.find_all('tr',  "item")  ##查找tr标签，class="item"
soup.find_all('tr', class_='item') 
# attrs 参数定义一个字典参数来搜索包含特殊属性的tag
soup.find_all('tr', attrs={"class": "item"})

带属性的标签，推荐用上面的第2种或第3种写法。

find()

find( name , attrs , recursive , text , **kwargs )

find_all()方法返回的是文档中符合条件的所有tag，是一个集合(class 'bs4.element.ResultSet')，find()方法返回的一个Tag(class 'bs4.element.Tag')

select()

select可以筛选元素，按标签逐层查找。

soup.select("html head title")  ##标签层级查找
soup.select('td  div  a')  ## 标签路径 td --> div --> a
soup.select('td > div > a')

注意，以上按路径标签之间的空格 td div a，可以用>，但也要注意>与标签之间都有空格。

注意：select()方法指定标签属性可以这样用：

uls = soup.select('a.nbg')   # <a class="nbg">

其他方法
- getText() 针对以上几种方法的迭代对象，获取对象的内容
pandas使用

   pay_frame = DataFrame(pay_dict, columns=data[3:7]) # 从dict构建DataFrame
   merge_frame = pd.concat([cosume_frame, old_frame], ignore_index=True) # ataFrame合并
   merge_frame.drop_duplicates('交易时间', inplace=True) # 去重
   merge_frame.to_csv('cosume.csv', float_format='%.2f', encoding='gbk', index=False) # 写入CSV文件
   old_frame = pd.read_csv('cosume.csv', encoding='gbk') # 读取CSV

其他
字典设置键值以及对应键值初始化：

dict.setdefault(key, default=None)