使用Selenium+Java:爬取某宝数据史上最完整版(原创)

项目背景

由于同学开网店,最近需要大量数据分析,因为人工采集数据太慢,就想办法整了一个简单的爬虫项目,亲测稳定无忧.

需求:(数据量=>也就一张Excel,里面三十万条关键词记录)
需求.jpg
搭建运行环境:
  • 架构
    • 后台:

        服务器:Tomcat9.0
        EE架构:Spring4.3+SpringMVC+Mybatis3.5
        数据库:MySQL5.7
        连接池:Hikari-CP
      
    • 前台

        @vue/cli 4.0.5
        Element-UI
      
    • 定时

         JavaSE:1.8
         Selenium:2.5
         连接池:C3P0
         运行环境:ChromeDriver
         本机环境:MacOSX Catalina
      
    • 项目成果展示:

      前台页面效果展示:


      前台页面.jpg

      定时任务效果展示:

      • 自动登录将Cookie写入本地文件


        Selenium自动登录.gif
      • 自动登录读取cookie+定时执行开启多线程任务

      定时任务自动抓取数据.gif
总结

以上是项目部分功能效果展示,等有时间我会抽取部分经典的功能进行详细分析,emmmmmm~~下篇开始会逐步讲解搭建项目的过程与思路.
@Beijing 2019-12-14 02:49:40

附上源码地址:(请勿商用!如转载请注明出处!)
------------------------(晚点上传至GitHub)---------------------

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Swift1> Swift和OC的区别1.1> Swift没有地址/指针的概念1.2> 泛型1.3> 类型严谨 对...
    cosWriter阅读 11,792评论 1 32
  • 引言 之前抓的妹子图都是直接抓Html就可以的,就是Chrome的浏览器F12的Elements页面结构和Netw...
    coder_pig阅读 5,371评论 1 15
  • 今天的食物之丰富,菜品之繁多,形与色之创新,常令我着实惊讶,且不管你是不是一个精致的美食家或有追求的食客,对于每一...
    LAKESEA阅读 1,340评论 0 0
  • 注:学习笔记来自安全牛课堂。感谢倪群主,感谢苑老师! 这里我有个疑问,就是,既然都可以准备2700个唯一字符了,那...
    FKTX阅读 351评论 0 0
  • 感恩感谢心态良好,感恩感谢每天虔诚的践行,感恩感谢爸妈公婆平安健康,感恩感谢兄弟姐妹顺顺当当,感恩感谢先生宠爱有加...
    德胜阅读 156评论 0 0

友情链接更多精彩内容