jsoup获取文档类示例

import java.io.IOException;
 2 
 3 import org.jsoup.Jsoup;
 4 import org.jsoup.nodes.Document;
 5 import org.jsoup.nodes.Element;
 6 import org.jsoup.select.Elements;
 7 
 8 
 9 public class WyCrawler {
10     public static void main(String[] args) {
11         try {
12             Document document = Jsoup.connect("http://某网页").timeout(3000).get();
13             String selector = "li>div[class=titleBar clearfix]>h3>a";    
14             Elements elements = document.select(selector);
15             for(Element element:elements){
16 //                System.out.println(element.text());
17                 String url = element.absUrl("href");
18                 Document document2 = Jsoup.connect(url).get();
19                 Elements elements2 = document2.select("#endText");
20                 for(Element element2:elements2){
21                     System.out.println(element2.text());
22                 }
23             }
24         } catch (IOException e) {
25             e.printStackTrace();
26         }
27     }
28 }

上面是如何爬取超链接里的内容,下面的比较简单

import java.io.IOException;
 2 
 3 import org.jsoup.Jsoup;
 4 import org.jsoup.nodes.Document;
 5 import org.jsoup.nodes.Element;
 6 import org.jsoup.select.Elements;
 7 
 8 
 9 public class Test {
10     public static void main(String[] args) {
11         try {
12             Document document = Jsoup.connect("http://www.某网页.com/").get();
13             //获取内容
14 //            String selector = "div[class=panel panel20 post-item post-box]>div[class=item-detail]>div[class=item-content]";
15 //            Elements elements = document.select(selector);
16 //            for(Element element:elements){
17 //                System.out.println(element.text());
18 //            }
19             
20             //获取标题
21 //            String selector2 = "div[class=panel panel20 post-item post-box]>div[class=item-detail]>h2[class=item-title]";
22 //            Elements elements = document.select(selector2);
23 //            for(Element element:elements){
24 //                System.out.println(element.text());
25 //            }
26             
27             //综合写法,标题内容一起获取
28             String selector = "div[class=panel panel20 post-item post-box]>div[class=item-detail]";
29             Elements elements = document.select(selector);
30             for(Element element:elements){
31                 Elements titles = element.select("div[class=item-title]");
32                 Elements content = element.select("h2[class=item-content]");
33                 System.out.println(titles.text()+"\n"+content.text());
34             }
35             
36             
37             
38         } catch (IOException e) {
39             e.printStackTrace();
40         }
41     }
42 }
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,457评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,837评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,696评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,183评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,057评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,105评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,520评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,211评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,482评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,574评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,353评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,897评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,489评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,683评论 2 335

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,050评论 25 707
  • 如果委屈不能变成财富,那它就是绊脚石! -- 首先我得承认这一点,我不是一个合格的程序员。 我只是一个C# 码农。...
    拈花一叶阅读 339评论 0 2
  • 一 奶奶去世已快三年,但至今自己还是一阵恍惚,仿佛奶奶还在人间,就在西屋的土炕上盘腿而坐,...
    一拂阅读 549评论 6 7
  • 北京连接着世界,而距离首都1500公里外的成都,想同步却时时落后于北京的步伐,这种滞后带来的疑惑和焦虑,时时萦绕脑...
    西瓜曼迪斯阅读 459评论 0 1