上一篇呢,我们说了pipeline 数据管道,这下呢,我们就来了解一下这个download,看看这些个数据呢,到底是怎么来的。
这个呢,就是我们查看源码,里面能获得到的所有的类了,怎么东西有点多啊,要不,我们挑重点??
这个呢,是我么看到的download接口的内部呢,download,请求发送,数据下载,setThread,设置线程数!
这个呢,就是我们要看的重点了,里面就是发送请求的地方了!在OnSuccess() 方法里面呢,进行一下简单的判定,看看我们的请求发送成没成功啊,是不是被对面给拦截了啊,看看验证码一类的问题。
发送完请求,会在这个方法里面将我们接受到的参数来进行拼接,拼接成我们解析的page页面。
download 呢,在webmagic自己封装的时候呢,使用的是httpclient 这种请求方式,不过呢,我还是不太建议使用这种请求方式呢,看上去白茫茫一片啊,根本找不到重点核心在哪。
如果这些呢,都不太符合你的需求的话,在webmagic-extension里面还存在很多的哦,总有一个适合你!
或者私信我的话,也是可以的,我将问你量身打造一个专用的(付费哦)!
https://blog.csdn.net/qq_36783371 一个大佬写的博客,欢迎去砸鸡蛋!