利用jsoup爬取简单网页

操作环境：Windows10 1903
IDE：Eclipse Oxygen Release (4.7.0)
Jar包：jsoup-1.12.1
爬取网站：https://www.aclweb.org/anthology/P19-1001/
基本要求：爬取文章的标题，作者，摘要以及其他的元数据

从网址可以看到，我们这次爬取的网站是学术型网站，这样的网站具有简单的DOM树结构，可以让我们快速上手jsoup的API。

网站截图如下：

111.png

首先我们分析网站的DOM树，如下图：

222.png

333.png

有了DOM树的基本结构，我们可以把需要的内容取出来，这里主要调用了jsoup的select方法，select方法与CSS的选择器十分类似，了解基本选择器的知识即可，当然，你也可以直接把鼠标放在你想要的的数据上，网页会自动显示你所选择的元素，例如：

444.png

有了上面的分析，我们就可以着手写具体的代码了

定义URL以及连接网站：

String url = "https://www.aclweb.org/anthology/P19-1001/";               
Document doc = Jsoup.*connect*(url)
 .timeout(100*1000)
 .get();//连接网站

获取需要的数据：

String title = doc.select("#title").text();//获取标题
System.out.println("Title:" + title);
String author = doc.select("p.lead").text();//获取作者
System.out.println("Author:" + author);
String abstracts = doc.select("div.card-body.acl-abstract").text();//获取摘要
System.out.println("Abstract" + abstracts);

这里单独说明一下表单，对于表单元素，我们需要使用for循环打印出表单内部的信息：

Elements dl = doc.select("dt");//表单元素
//System.out.println(dl);
for(Element elements:dl){
    System.out.print(elements.select("dt").text());
    System.out.println(elements.select("dt").next().text());//dd元素无法直接获取，所以使用next()方法
}

运行结果如下：

555.png

整个教程到这里就结束了，当然，你也可以拓展代码，构建一个小型的爬虫。希望对大家有所帮助。

欢迎关注公众号“细辛编程”，了解更多干货文章。偷偷说一句，关注有福利哦~

整体代码如下：

package com;

import java.io.*;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class GetUrlData {

    public static void main(String[] args) throws IOException {
        
        String url = "https://www.aclweb.org/anthology/P19-1001/";          
        Document doc = Jsoup.connect(url)
                .timeout(100*1000)
                .get();//连接网站
        String title = doc.select("#title").text();//获取标题
        System.out.println("Title:" + title);
        String author = doc.select("p.lead").text();//获取作者
        System.out.println("Author:" + author);
        String abstracts = doc.select("div.card-body.acl-abstract").text();//获取摘要
        System.out.println("Abstract" + abstracts);
        Elements dl = doc.select("dt");//表单元素
        //System.out.println(dl);
        for(Element elements:dl){
            System.out.print(elements.select("dt").text());
            System.out.println(elements.select("dt").next().text());//dd元素无法直接获取，所以使用next()方法
        }                                       
    
        System.out.println("\n爬取文献元数据结束\n");
    }

}

最后编辑于：2020.01.30 10:23:10