项目背景
由于同学开网店,最近需要大量数据分析,因为人工采集数据太慢,就想办法整了一个简单的爬虫项目,亲测稳定无忧.
需求:(数据量=>也就一张Excel,里面三十万条关键词记录)
搭建运行环境:
- 架构
-
后台:
服务器:Tomcat9.0 EE架构:Spring4.3+SpringMVC+Mybatis3.5 数据库:MySQL5.7 连接池:Hikari-CP
-
前台
@vue/cli 4.0.5 Element-UI
-
定时
JavaSE:1.8 Selenium:2.5 连接池:C3P0 运行环境:ChromeDriver 本机环境:MacOSX Catalina
-
项目成果展示:
前台页面效果展示:
定时任务效果展示:
-
自动登录将Cookie写入本地文件
自动登录读取cookie+定时执行开启多线程任务
-
-
总结
以上是项目部分功能效果展示,等有时间我会抽取部分经典的功能进行详细分析,emmmmmm~~下篇开始会逐步讲解搭建项目的过程与思路.
@Beijing 2019-12-14 02:49:40
附上源码地址:(请勿商用!如转载请注明出处!)
------------------------(晚点上传至GitHub)---------------------