1.1 前言:爬虫工具比较

所谓的爬虫,就是用HTTP请求自动去获取网络上的信息。
可以用的工具和语言有很多。笔者用过python的requests,也用java的httpclient。两种工具各有千秋吧。
python语言编写短小,代码量少。但是遇到问题调试困难。
java语言往往需要创建各种实体类,还需要自己编写反序列化工作。但也有优势,java使用人群多,工具成熟,调试方便。
本系列文章会分两类,一类是用python编写,另外一类是用java编写。主要偏向是使用java编写的爬虫。

内容预告

1、如何进行认证登入
2、如何通过https登入
4、如何保持session
5、采用一定的设计方便开发使用。
6、如何通过单点登入及在各子系统间切换

  • ...未完待续,有好的建议请留言
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 33款可用来抓数据的开源爬虫软件工具 要玩大数据,没有数据怎么玩?这里推荐一些33款开源爬虫软件给大家。 爬虫,即...
    visiontry阅读 7,394评论 1 99
  • 爬虫文章 in 简书程序员专题: like:128 - Python 爬取落网音乐 like:127 - 【图文详...
    treelake阅读 29,573评论 33 638
  • 你在做每件事的时候,之前都会有一个固定的开始方式。。。如早晨起床你首先会做什么,阅读前你会做什么,睡觉前你会做什么...
    雅典娜刘艳阅读 163评论 0 0
  • 活着 用一双腿走遍万里河山 醒着 用一双眼勘破重重谜语 想着 把一切想了又忘 忘了又想 最永恒不变的 是落叶飘舞的...
    桐树花开阅读 214评论 7 0
  • 参加阅读《乔布斯传》精读课的目标。: 1.学会如何高效的阅读一本书,获取更多有价值的信息。 2.学会如何以书为镜,...
    江湖人称二爷阅读 450评论 0 0