宅男必会技能 springboot, jsoup,html,vue,axios抓取全站美女图片

1 温馨提示:jdk1.8+ ,准备好大硬盘,全站美女套图全归你

2 源码下载

码云:https://gitee.com/gao_zhenzhong/spring-boots/tree/master/ok/98-app/pictures

3 运行程序后 地址栏输入 http://localhost:9090 如下图所示

image.png

image.png

4 推荐使用ACDSee查看图片

5 准备纸巾

6 pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.gzz</groupId>
    <artifactId>spring-boot-girl</artifactId>
    <version>1.0</version>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.5.6</version>
    </parent>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <java.version>1.8</java.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.14.3</version>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>
    <repositories>
        <repository>
            <id>aliyunmaven</id>
            <name>aliyun</name>
            <url>https://maven.aliyun.com/repository/public</url>
        </repository>
    </repositories>
</project>

7 Application18.java

package com.gzz;

import java.text.DecimalFormat;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import com.gzz.utils.Utils;

import lombok.extern.slf4j.Slf4j;

@Slf4j
public class Application18 {
    private static String rootpath = "D:/aaa/";
    private static int num;
    private static DecimalFormat df = new DecimalFormat("00");
    private static String baseUrl = "https://www.wxytw.com/jgmntp/yuhuajie/page/";

    public static void main(String[] args) throws Exception {
        for (int i = 1; i < 34; i++) {
            Document document = Jsoup.connect(baseUrl + i).get();
//log.info(document);
            Elements selects = document.select("a.thumbnail");
            for (Element element : selects) {
                String href = element.attr("href");
                String setPath = element.select("img").first().attr("alt");
                log.info(setPath);
                Document pages = Jsoup.connect(href).get();
//log.info(document);
                Elements pics = pages.select("a.post-page-numbers");
                String pageNum = pics.last().select("span").first().text();
//log.info(pageNum);
                num = 0;
                for (int j = 1; j <= Integer.parseInt(pageNum); j++) {
                    pages = Jsoup.connect(href + "/" + j).get();
                    Elements images = pages.select(".article-content img");
                    for (Element image : images) {
//log.info(image.attr("src"));
                        String path = rootpath + setPath + "/" + df.format(num) + ".jpg";
                        Utils.down(image.attr("src"), path, href);
                        num++;
                    }
                }
            }
        }
    }
}

8 下载工具类

package com.gzz.utils;

import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import java.net.URLConnection;
import java.nio.file.Files;
import java.nio.file.Paths;

import lombok.extern.slf4j.Slf4j;

@Slf4j
public class Utils {
    public static void down(String url, String path, String referer) {
        try {
            File file = new File(path);
            if (!file.exists()) {
                URLConnection connection = new URL(url).openConnection();
                connection.setRequestProperty("Referer", referer);
                if (!file.getParentFile().exists())
                    file.getParentFile().mkdirs();
                ByteArrayOutputStream swapStream = new ByteArrayOutputStream();
                byte[] buff = new byte[1000];
                int rc = 0;
                InputStream inputStream = connection.getInputStream();
                while ((rc = inputStream.read(buff, 0, 1000)) > 0) {
                    swapStream.write(buff, 0, rc);
                }
                Files.write(Paths.get(path), swapStream.toByteArray());

                inputStream.close();
            }
        } catch (IOException e) {
            log.error("抛锚了...", path, url, e);
        }
    }
}

9 页面文件

<!DOCTYPE html>
<html>

<head>
    <meta charset="UTF-8">
    <title>down-picture</title>
</head>
<script type="text/javascript" src="vue.min.js"></script>
<script type="text/javascript" src="axios.min.js"></script>

<body>
    <div id="app">
        <template v-for="item in dicts" :key="item.url">
            <span style="width:220px;height:20; display:inline-block;border:1px solid black;padding:6px"  >
                <button :disabled="item.pageCount > '0'"  @click="queryCount(item)" style="width:130px;" >{{item.label}}[共{{item.pageCount}}页]</button>
                <button :disabled="!item.pageCount" @click="downPictures()">下载</button>
            </span>
        </template>
    </div>
    <script>
        axios.defaults.headers.post['Content-Type'] = 'application/json;charset=UTF-8';
        new Vue({
            el: '#app',
            data: function () {
                return { form: { setName: '', pageCount: '', setUrl: '', }, dicts: [], messages: [] }
            },
            created: function () { this.queryDicts(); },
            methods: {
                queryCount(item) {
                    console.log("item", item)
                    this.form.setName = item.label;
                    this.form.setUrl = item.url;
                    axios.post("/queryCount?url=" + item.url).then(res => {
                        if (res.data.code == 200) {
                            this.form.pageCount = res.data.data;
                            item.pageCount = res.data.data;
                        }
                        else this.$message.error(res.data.msg);
                    });
                },
                queryDicts() {
                    axios.post("/queryDicts").then(res => {
                        if (res.data.code == 200) { this.dicts = res.data.data; }
                        else this.$message.error(res.data.msg);
                    });
                },
                downPictures() {
                    axios.post("/downPictures", JSON.stringify(this.form)).then(res => {
                        if (res.data.code == 200) { this.$message.success('已开始下载有耐心等待') }
                        else this.$message.error(res.data.msg);
                    })
                },
            },
        });
    </script>
</body>

</html>
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,826评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,968评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,234评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,562评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,611评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,482评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,271评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,166评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,608评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,814评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,926评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,644评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,249评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,866评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,991评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,063评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,871评论 2 354

推荐阅读更多精彩内容