使用OkHttpClient爬取json数据

一、爬取URL链接是get请求

比如:


这是taptap游戏厂商排行榜网,现在就可以使用OkHttpClient根据这个url爬取到json的字符串

代码如下:


接下来就简单了,使用JSON转化将result转化为实体类,

比如使用import com.alibaba.fastjson.JSON;中的JSON:


因为字符串html获取到的数据是前端html拼接起来的字符串,所以剩下的就可以用Jsoup解析想要的数据了

二、爬取URL链接是Post请求

比如:


  这时候就得知道post请求的Form Data了:


这是新榜排名列表微博日榜个人认证的url;使用OkHttpClient的时候就得加上这些条件,如:


接下来就简单了,使用JSon解析一下就可以得到自己想要的类或对象数据了。

三、使用到的pom文件(jar包)

<dependency>

      <groupId>com.alibaba</groupId>

      <artifactId>fastjson</artifactId>

      <version>1.2.44</version>

    </dependency>

    <dependency>

      <groupId>com.squareup.okhttp3</groupId>

      <artifactId>okhttp</artifactId>

      <version>3.9.1</version>

    </dependency>

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容