Jsoup获取动态js生成的内容

Jsoup本身是只能获取到静态页面的数据，并无法获取动态生成的内容，所以单单使用jsoup是无法获取到js生成的内容的。我这里使用了htmlunit来获取网页内容后，将网页转换成xml格式，再通过jsoup进行解析

1.依赖导入
一般Jsoup和HttpClient都是一起使用的，版本随意，可以无脑选择新版本

<dependencies>
    <!--httpclient-->
    <dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>httpclient</artifactId>
        <version>4.5.2</version>
    </dependency>

    <!--jsoup-->
    <dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.11.3</version>
    </dependency>

    <!--htmlunit-->
    <dependency>
        <groupId>net.sourceforge.htmlunit</groupId>
        <artifactId>htmlunit</artifactId>
        <version>2.33</version>
    </dependency>
</dependencies>

2.简单的代码
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import java.io.*;

//使用Jsoup+Htmlunit下载动态js的内容
public class Test {

public static void main(String[] args) throws IOException {
    //Htmlunit模拟的浏览器，设置css,js等支持及其它的一些简单设置
    WebClient browser = new WebClient();
    browser.getOptions().setCssEnabled(false);
    browser.getOptions().setJavaScriptEnabled(true);
    browser.getOptions().setThrowExceptionOnScriptError(false);

    //获取页面
    HtmlPage htmlPage = browser.getPage("http://www.baidu.com");
    //设置等待js的加载时间
    browser.waitForBackgroundJavaScript(3000);

    //使用xml的方式解析获取到jsoup的document对象
    Document doc = Jsoup.parse(htmlPage.asXml());
    System.out.println(doc);
}

}
现在可以将获取到的org.jsoup.nodes.Document使用Jsoup的方式进行解析了！

Jsoup获取动态js生成的内容

推荐阅读更多精彩内容