在爬取了政府工作报告以后，一项新的任务又出现了，我们需要人民日报社论的标题以及社论文章进行分析。
与上几次不同的是这次我们运用的方法是XPath加DOM树的方式。这种方法我更倾向于是面向特征的查找方法，如果网页页面不是杂乱无章而是以一种规范地形式制作的话，用这种方法比正则表达式简单得多。
这种方法对于爬虫来说更主要的是解析方式的改变。
请求
请求的方式和原本没有两样
# 社论地址 绑定
edit_url = 'http://opinion.people.com.cn/GB/8213/49160/49179/index.html'
# 打开网站 并将源码转化为DOM树
edit_web = urllib2.urlopen(edit_url).read()
解析
制作DOM树
lxml是python中处理xml的一个非常强大的库,可以非常方便的解析和生成xml文件。
lxml.etree(html)可以将网页变成ＤＯＭ树，每一个标签就变成了一个节点，子标签就相应变成子节点。
1487835109545.jpg
selector = etree.HTML(edit_web)
XPath
XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。
比如说我要获取网页的标题，那么我们可以用/html/head/title/ 一个节点的一个节点的遍历
最后text（）把文本内容获取出来。
我更多地是把XPath想象成为一把剪刀，也就是说用XPath筛选的过程其实也就是剪枝的过程，剪掉那些符合我需要的数据的枝叶给保存下来。
# 在树中抓取所有符合条件的标题信息以及URL信息 （返回的也是一个树）
title_content = selector.xpath('//*[@class = "t10l14bl"]/a[@href]')
# 抓取的URL信息都是相对地址 在打开时需要补全
url_content = selector.xpath('//*[@class = "t10l14bl"]/a')
存储
存储方法我采用的是保存到列表中
# 分别遍历两个树 将所有的信息分别存入到列表中
edit_list = list([line.text[7:] for line in title_content])
url_list = list([line.get('href')for line in url_content])
# 列表的值一一对应 两两值再组成一个列表
title_url_list = zip(edit_list, url_list)
