Python爬虫简单应用

针对公司考勤管理系统实现的自动签到脚本,实现很简陋,将就着用吧。至少请假再也不用调休了:)

为什么选择python

极简主义,简单就是最好的。

开发环境搭建
  • 安装python,在官网下载对应版本(https://www.python.org/)
    这里选择python2.7版本,也可以是python3.5
  • 安装requests模块
    目前最新版本的python都集成了pip工具,用pip工具安装非常方便。进入python安装目录下的scripts目录,pip工具在此目录下,运行命令行执行
pip install requests

当然也可以使用python原生工具集urllib,urllib2。同样是处理http请求,只是requests更好用一些。

具体实现

工具目的主要是充当http客户端,模拟登录签到和签出流程

  • 登录
    利用requests模块的post方法,在此之前我们需要分析考勤网站登录网页的html,抽取需要的参数数据,具体方法如下:
    1.在google浏览器打开考勤系统网址,按F12并刷新网页,选择network,在name列表框选择第一项的url,右边点击headers子选项。Request以及Reponse信息都可以查看到


    login.png

    2.我们所需要的是Request Headers以及Form Data字段信息,简单粗暴全部照着拷贝了。
    post方法代码如下:

def postLogin(session):
    headers={
        'Host':host,
        'Origin':origin,
        'Referer':referer,
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }
    formData={}
    formData['username'] = username
    formData['password'] = password
    session.post(loginUrl, data=formData,headers=headers,)
  • 签到和签出
    这里所谓的签到和签出也都是调用post方法发送Http请求,重点在于对目标网址的报文解析,具体参考登录过程中的google浏览器debug方法。签到与签出唯一不一样的就是请求的url地址不同。
def postSave(session, url):
      return session.post(url)
checkin_resp = postSave(s, url)
print checkin_resp
checkout_resp = postSave(s, url)
print checkout_resp

这里防止多次签到和签出是通过时间来区分的

工具打包和使用
  • 利用PyInstaller简单的编译exe
    安装PyInstaller:
pip install pyinstaller

国内网络比较慢,因为这种方式最直接简单。如果安装过程中报错,就是网络断连,重新执行命令。
打包命令也很简单:

pyinstaller -F D:/workspace/python/om/om.py
  • 工具的使用
    在windows系统下利用任务计划程序设置定时任务,工具需要传递两个参数,用户名和密码。按照签到签出的时间设置两个任务,每天定时执行,具体设置定时任务的方法不在这里说明,具体操作步骤参照百度说明。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容