使用Jsoup+AsyncTask爬取网页资源

笔记目标:
1.练习使用Jsoup的相关功能
2.练习使用AsyncTask异步任务
3.复习Android相关知识点

工具:
1.MyEclipse + AndroidStudio

下面贴出代码:

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class Test {
    private static String BASE_URL = "http://www.xxx.xxx";// 主页
    private static String DETAILS_URL = "123.htm";// 详细页
    private static int currentPageNum = 1;// 当前页
    private static int totalPageNum = 0;// 总页数
    private static int resCount = 0;// 总资源数
    private static String imageSrc = "";// 图片地址

    public static void main(String[] args) {
        try {
            Document document = Jsoup.connect(
                    BASE_URL + "/" + TYPE.anime + "/" + DETAILS_URL + "/"
                            + currentPageNum).get();
            totalPageNum = document.select("div #page-links").select("a")
                    .size() + 1;
            for (int i = currentPageNum; i <= totalPageNum; i++) {
                String fullUrl = BASE_URL + "/" + TYPE.hentai + "/"
                        + DETAILS_URL + "/" + currentPageNum;
                Document doc = Jsoup.connect(fullUrl).get();
                int size = doc.select("div .post").select("p").select("a")
                        .size();
                resCount += size;
                for (int j = 0; j < size; j++) {
                    imageSrc = doc.select("div .post").select("p a img").get(j)
                            .attr("src");
                    System.out.println(imageSrc);
                }
                currentPageNum++;
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 179,300评论 25 708
  • Listen to a conversation between a student and a library ...
    北海道花季阅读 1,089评论 0 1
  • 昨天热的很,估计最高气温能到40度,和其他水泥厂业务一起去做市场调研去了,我的车空调不太管用,我们仨热的都不愿意聊...
    艳云阅读 266评论 0 1
  • 三十那天,跟青梅竹马玩儿了一下午,晚上青梅吐了,初一青梅发烧,初二满血复活。 我们竹马初三晚上喝完奶,咕噜全吐出来...
    大雨不愁阅读 235评论 0 0

友情链接更多精彩内容