基于Python3 selenium爬虫某宝网页支付账单监听

本程序基于python3 selenium框架开发的一套收款账单监控
支持Linux、MAC、Windows,需要对selenium webdriver有一定了解

运行需要google浏览器和chromedriver插件驱动,而且需要对应谷歌浏览器版本号,不然会报错,本源码的webdriver目录有对应系统的插件,但是有两年没用了,我记得之前应该是85.04版本
当然也可以自己到 http://npm.taobao.org/mirrors/chromedriver 下载最新版本对应最新的google浏览器

这是我之前做的一个项目,跟后端接口结合而开发的一套监控某宝网页支付账单的爬虫程序,支持多线程多任务监控
里面集成了。
1.接口接收数据
2.扫码登录,二维码回传到前端APP
3.自动刷新网页
4.自动下线
5.自动上线
6.模拟人工点击
7.代理IP绑定等技术要领

使用前请先阅读 api.py 文件的方法,先跟后端接口结合,后端分发任务给main.py,然后python会启动一个监听浏览器的窗口和把获取的数据传输给后端,可分发多个任务,最终能开多少个取决于系统的配置。

一般4核心8G的配置可以开40个窗口,多了会卡。

下面简单介绍一下代码的使用方式和环境

详细的使用还是靠自己阅读代码集成接口来运行

1.首先安装google浏览器 https://www.google.cn/chrome/
2.安装python3 https://www.python.org 或可使用PyCharm Community集成IDE开发工具
3.下载源码 https://github.com/fsg-herbie/web-pc-monitor
4.安装依赖包 multiprocessing、selenium
5.修改api.py接口文件把里面的所有接口方法替换和实现你自己后端的业务逻辑
6.阅读 executes.py 文件的主业务逻辑,并修改接口返回数据
7.根据系统平台下载chromedriver到webdriver目录
8.运行main.py

本程序只适用于有一定python基础的人学习使用,小白教程暂时还没时间编写。

完整程序请关注我的github
https://github.com/fsg-herbie/web-pc-monitor

免责声明
本程序只供爬虫学习研究使用,严禁用于非法用途,任何不正当行为造成的后果与本文无关。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
禁止转载,如需转载请通过简信或评论联系作者。

相关阅读更多精彩内容

友情链接更多精彩内容