作为一个饱经期末周折磨的当代大学生,经常要去学校教务系统的看一下有没有出新成绩,我还好,不用怎么担心挂科,在老师不为难我的情况下,让我考 60 分和考 90 分一样困难;但是如果没在电脑前,用手机端打开教务系统的网页,输入账号密码验证码,然后切换 tab 页查看成绩还有有点不耐烦,作为一个业余的小程序开发者,很快就有了做一个教务系统小程序的 idea,经过长期的前期调研和两天的快速开发,终于在去年 10 月中旬上线,主要功能包括查看成绩(总排名、获得学分、单科成绩)、查看课表等,其界面风格大致如下:
由于没啥推广,只在 QQ 空间传播了下,用户数一直在缓慢增长,这几天无意间发现用户数达到了 1.6 k,恰巧期末周考完所有考试,一边想着重构这个项目,一边想着复盘整个开发过程,于是就有了这篇文章。
教务系统数据的获取
最开始想了一个简单省事的法子,向学校申请接口,但是找不到门路,学校怎么会给我这么大的权限呢,于是就转变方向,刚好我学过爬虫,然后就在登录界面那不断调试,分析各种 post 和 get 请求,终于让我找到了突破口,不得不说承接这个教务系统开发的公司真是图方便,只把学号和密码做了个简单的加密,然后直接在加密后的学号和密码之间加了几个固定的奇怪的字符,作为 post 的 data 参数提交,就能成功登录并获取到 cookie,然后利用这个 cookie 就能获取到与学号绑定的教务系统里的一切数据,包括成绩。课表等等。
接口和表的设计
主要有三个表,学生表、课程表以及表示他们之间的关联的上课表,设计模式可以参考黑书《数据库系统概念》 里的 university 模式。
在设计学生表的时候,候选键有学号、微信号 openid,考虑再三,我选择了后者,原因有二:
1、查询成绩的接口等需要用到学生表的主键,如果主键是学号的话,一个人的成绩很容易被同学查到,这样的设计显然是要承受千夫所指的;有人说设计查成绩的接口的时候可以新加一个密码参数,这样也不是不行,但是,这样做增加了传输账号和密码的次数,提高了账号和密码暴露的风险。
2、openid 和学号绑定,可以提高安全性,因为一个人微信号的 openid 非常隐蔽,如果当事人不是开发者,他自己都不知道,更不要说那些只知道他学号的同学了。
也正是因为如此,一个学号一旦注册,就和当前微信的 openid 绑定了,这个微信号不能再注册其他学号,这个学号也不能在其他微信号上注册或者登录,如果想要解绑,注销账号即可。
业务逻辑的设计
由于爬虫是由 Python 写的,在 Java web 和 Python Web 中选择了后者,再由于个人喜好在 django 和 flask 选择了后者。
已上线的业务逻辑是这样的:注册的时候一次性将成绩和课表数据从学校教务系统拉取到我的阿里云服务器后台(这个操作比较耗时),后续的查询是直接在我的阿里云服务器上进行;如果在小程序主界面选择了接受新成绩更新,后台会根据你的账号新增一个定时任务,对教务系统成绩信息做增量爬取,因此这整个成绩查询可以说是一个异步的、有时延的;前几天在和某个公司的技术官谈到这个项目时,他说可以将这个时候项目的查询做成同步的、实时的,我当时回答说是因为我们学校教务系统服务器差(每到选课必崩),如果做成实时系统对学校教务系统服务器压力比较大,做成异步的可以新增一层缓存,减轻了压力,但是带来的后果是成绩更新不及时,当然用户可以强制实时更新,只要先注销再注册即可。
小程序
小程序主要考虑问题是操作简单快捷、界面交互友好,采用原生开发,演示视频如下:
小程序端源代码已全部开源,Github 地址:
由于每个学校教务系统的功能大同小异,如果你也想开发一套这样的系统,小程序端完全可以 clone 上述地址,然后针对你们学校的教务系统,做爬虫设计、后台业务逻辑开发,由于涉及到学校教务系统的爬虫细节,后台代码没有开源,当然,如果你有问题,谈不上指教,可以私戳我一起交流。