php解析html类库simple_html_dom(爬虫相关)

下载地址:https://github.com/samacs/simple_html_dom

解析器不仅仅只是帮助我们验证html文档;更能解析不符合W3C标准的html文档。它使用了类似jQuery的元素选择器,通过元素的id,class,tag等等来查找定位;同时还提供添加、删除、修改文档树的功能。当然,这样一款强大的html Dom解析器也不是尽善尽美;在使用的过程中需要十分小心内存消耗的情况。不过,不要担心;本文中,笔者在最后会为各位介绍如何避免消耗过多的内存。

开始使用

上传类文件以后,有三种方式调用这个类:

从url中加载html文档

从字符串中加载html文档

从文件中加载html文档

<?php

// 新建一个Dom实例

$html =newsimple_html_dom();

// 从url中加载

$html->load_file('http://www.jb51.net');

// 从字符串中加载

$html->load('<html><body>从字符串中加载html文档演示</body></html>');

//从文件中加载

$html->load_file('path/file/test.html');

?>

如果从字符串加载html文档,需要先从网络上下载。建议使用CURL来抓取html文档并加载DOM中。

PHP Simple HTML DOM Parser提供了3种方式来创建DOM对象 :

// Create a DOM object from a string

$html = str_get_html('Hello!');

// Create a DOM object from a URL

$html = file_get_html('http://www.google.com/');

// Create a DOM object from a HTML file

$html = file_get_html('test.htm');

查找html元素

可以使用find函数来查找html文档中的元素。返回的结果是一个包含了对象的数组。我们使用HTML DOM解析类中的函数来访问这些对象,下面给出几个示例:

<?php

//查找html文档中的超链接元素

$a = $html->find('a');

//查找文档中第(N)个超链接,如果没有找到则返回空数组.

$a = $html->find('a',0);

// 查找id为main的div元素

$main = $html->find('div[id=main]',0);

// 查找所有包含有id属性的div元素

$divs = $html->find('div[id]');

// 查找所有包含有id属性的元素

$divs = $html->find('[id]');

?>

还可以使用类似jQuery的选择器来查找定位元素:

<?php

// 查找id='#container'的元素

$ret = $html->find('#container');

// 找到所有class=foo的元素

$ret = $html->find('.foo');

// 查找多个html标签

$ret = $html->find('a, img');

// 还可以这样用

$ret = $html->find('a[title], img[title]');

?>

解析器支持对子元素的查找

<?php

// 查找 ul列表中所有的li项

$ret = $html->find('ul li');

//查找 ul 列表指定class=selected的li项

$ret = $html->find('ul li.selected');

?>

如果你觉得这样用起来麻烦,使用内置函数可以轻松定位元素的父元素、子元素与相邻元素

<?php

// 返回父元素

$e->parent;

// 返回子元素数组

$e->children;

// 通过索引号返回指定子元素

$e->children(0);

// 返回第一个资源速

$e->first_child ();

// 返回最后一个子元素

$e->last _child ();

// 返回上一个相邻元素

$e->prev_sibling ();

//返回下一个相邻元素

$e->next_sibling ();

?>

元素属性操作

使用简单的正则表达式来操作属性选择器。

[attribute] – 选择包含某属性的html元素

[attribute=value] – 选择所有指定值属性的html元素

[attribute!=value]- 选择所有非指定值属性的html元素

[attribute^=value] -选择所有指定值开头属性的html元素

[attribute$=value] 选择所有指定值结尾属性的html元素

[attribute*=value] -选择所有包含指定值属性的html元素

在解析器中调用元素属性

在DOM中元素属性也是对象:

<?php

// 本例中将$a的锚链接值赋给$link变量

$link = $a->href;

?>

或者:

<?php

$link = $html->find('a',0)->href;

?

每个对象都有4个基本对象属性:

tag – 返回html标签名

innertext – 返回innerHTML

outertext – 返回outerHTML

plaintext – 返回html标签中的文本

在解析器中编辑元素

编辑元素属性的用法和调用它们是类似的:

<?php

//给$a的锚链接赋新值

$a->href ='http://www.jb51.net';

// 删除锚链接

$a->href =null;

// 检测是否存在锚链接

if(isset($a->href)) {

//代码

}

?>

解析器中没有专门的方法来添加、删除元素,不过可以变通一下使用:

<?php

// 封装元素

$e->outertext ='<div class="wrap">'. $e->outertext .'<div>';

// 删除元素

$e->outertext ='';

// 添加元素

$e->outertext = $e->outertext .'<div>foo<div>';

// 插入元素

$e->outertext ='<div>foo<div>'. $e->outertext;

?>

保存修改后的html DOM文档也非常简单:

<?php

$doc = $html;

// 输出

echo$doc;

?>

如何避免解析器消耗过多内存

在本文的开篇中,笔者就提到了Simple HTML DOM解析器消耗内存过多的问题。如果php脚本占用内存太多,会导致网站停止响应等一系列严重的问题。解决的方法也很简单,在解析器加载html文档并使用完成后,记得清理掉这个对象就可以了。当然,也不要把问题看得太严重了。如果只是加载了2、3个文档,清理或不清理是没有多大区别的。当你加载了5个10个甚至更多的文档的时候,用完一个就清理一下内存

<?php

$html->clear();

?>

一个实例:

简单范例

<?PHP

include"simple_html_dom.php";//加载simple_html_dom.php文件 

$html = file_get_html('http://www.google.com/');//获取html                           

$dom =newsimple_html_dom();//new simple_html_dom对象                           

$dom->load($html)//加载html                                           

// Find all images                                         

foreach($dom->find('img')as$element) {

//获取img标签数组                                     

echo$element->src .'<br>';//获取每个img标签中的src

}                                                     

// Find all links                                             

foreach($dom->find('a')as$element){//获取a标签的数组                                       

echo$element->href .'<br>';//获取每个a标签中的href                             

}

$html = file_get_html('http://slashdot.org/');//获取html                               

$dom =newsimple_html_dom();//new simple_html_dom对象                               

$dom->load($html);//加载html                                       

// Find all article blocks                                         

foreach($dom->find('div.article')as$article) {

$item['title'] = $article->find('div.title',0)->plaintext;//plaintext 获取纯文本

$item['intro'] = $article->find('div.intro',0)->plaintext;

$item['details'] = $article->find('div.details',0)->plaintext;

    $articles[] = $item;

}

print_r($articles);

// Create DOM from string   

$html = str_get_html('<div id="hello">Hello</div><div id="world">World</div>');

$dom =newsimple_html_dom();//new simple_html_dom对象</p><p>   

$dom->load($html);//加载html 

$dom->find('div',1)->class ='bar';//class = 赋值 给第二个div的class赋值</p><p> 

$dom->find('div[id=hello]',0)->innertext ='foo';//innertext内部文本</p><p>   

echo$dom;


//Output:

fooWorld

DOM methods & properties

    Name Description 

    void __construct ( [string $filename] ) 构造函数,将文件名参数将自动加载内容,无论是文本或文件/ url。 

    string plaintext 纯文本 

    void clear () 清理内存 

    void load ( string $content ) 加载内容 

    string save ( [string $filename] ) Dumps the internal DOM tree back into a string. If the $filename is set, result string  will save to file. 

    void load_file ( string $filename ) Load contents from a from a file or a URL. 

    void set_callback ( string $function_name ) 设置一个回调函数。 

mixed find ( string $selector [, int $index] ) 找到元素的CSS选择器。返回第n个元素对象如果索引设置,否则返回一个数组对象。

    4.find 方法详细介绍</p><p>  

find ( string$selector [, int $index] )   

// Find all anchors, returns a array of element objects a标签数组  

$ret = $html->find('a');</p><p>  // Find (N)th anchor, returns element object or null if not found (zero based)第一个a标签  

$ret = $html->find('a', 0);</p><p>   // Find lastest anchor, returns element object or null if not found (zero based)最后一个a标签  

$ret = $html->find('a', -1); </p><p> // Find all <div> with the id attribute   

$ret = $html->find('div[id]');</p><p>    // Find all <div> which attribute id=foo  

$ret = $html->find('div[id=foo]'); </p><p>  

// Find all element which id=foo  

$ret = $html->find('#foo');</p><p>   // Find all element which class=foo  

$ret = $html->find('.foo');</p><p>   // Find all element has attribute id  

$ret = $html->find('*[id]'); </p><p> // Find all anchors and images a标签与img标签数组   

$ret = $html->find('a, img');  </p><p>  // Find all anchors and images with the "title" attribute  

$ret = $html->find('a[title], img[title]');</p><p>  

// Find all <li> in <ul>   

$es = $html->find('ul li'); ul标签下的li标签数组</p><p>  // Find Nested <div> tags  

$es = $html->find('div div div');  div标签下div标签下div标签数组</p><p>   // Find all <td> in <table> which class=hello   

$es = $html->find('table.hello td'); table标签下td标签数组</p><p>   // Find all td tags with attribite align=center in table tags   

$es = $html->find(''table td[align=center]'); </p><p>   

    5.Element  的方法  

$e = $html->find("div", 0);                              //$e 所拥有的方法如下表所示  

    Attribute Name Usage   

$e->tag 标签   

$e->outertext 外文本   

$e->innertext 内文本   

$e->plaintext 纯文本 </p><p> </p><p>   // Example  

$html = str_get_html("<div>foo <b>bar</b></div>");   

echo $e->tag; // Returns: " div"  

echo $e->outertext; // Returns: " <div>foo <b>bar</b></div>"  

echo $e->innertext; // Returns: " foo <b>bar</b>"  

echo $e->plaintext; // Returns: " foo bar"</p><p>  

    6.DOM traversing 方法  

    Method Description   

mixed$e->children ( [int $index] ) 子元素   

element$e->parent () 父元素   

element$e->first_child () 第一个子元素   

element$e->last_child () 最后一个子元素   

element$e->next_sibling () 后一个兄弟元素   

element$e->prev_sibling () 前一个兄弟元素 </p><p>  

// Example  

echo $html->find("#div1", 0)->children(1)->children(1)->children(2)->id;  

// or   

echo $html->getElementById("div1")->childNodes(1)->childNodes(1)->childNodes(2)->getAttribute('id');  

</p>  

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,542评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,596评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,021评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,682评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,792评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,985评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,107评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,845评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,299评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,612评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,747评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,441评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,072评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,828评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,069评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,545评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,658评论 2 350

推荐阅读更多精彩内容

  • 概要 64学时 3.5学分 章节安排 电子商务网站概况 HTML5+CSS3 JavaScript Node 电子...
    阿啊阿吖丁阅读 9,146评论 0 3
  • HTML HTML5标签 媒体查询head部分写法 Doctype作用? 严格模式与混杂模式如何区分?它们有何意义...
    Mayo_阅读 640评论 0 8
  • 一:认识jquery jquery是javascript的类库,具有轻量级,完善的文档,丰富的插件支持,完善的Aj...
    xuguibin阅读 1,706评论 1 7
  • 一、理论基础知识部分 1.1、讲讲输入完网址按下回车,到看到网页这个过程中发生了什么 a. 域名解析 b. 发起T...
    我家媳妇蠢蠢哒阅读 3,120评论 2 106
  • 从前,有个王后有一面魔镜,它能回答别人提出的问题。她每天问镜子,“魔镜,魔镜,谁是这世上最美的女人?” 镜子一直回...
    胡子长阅读 548评论 0 0