xpath入门
xpath介绍
- 说白了，xpath就是一种可以根据地址找人的技术 确定的路径
一.基本概念
-
XPath：
XPath（XML Path Language）是一种XML的查询语言，他能在XML树状结构中寻找节点。XPath 用于在 XML 文档中通过元素和属性进行导航
-
xml：
xml是一种标记语法的文本格式，xpath可以方便的定位xml中的元素和其中的属性值。
-
lxml：
lxml是一个Python第三方的库 它可以把这个html文本转换成xml对象(element对象) 使用xpath语法进行导航了
二.工具安装
- chrome 插件 xpath-helper
1 chrome://extensions/ 扩展程序
2 之间拖拽文件安装， 如果拖拽文件无法安装，那么把文件的后缀 crx --> rar
3 双击解压，解压到文件夹
4 扩展程序里面 点击第一个选项 (加载已解压的扩展程序)
注意 开发者的选项是否打开 解压的文件不要删除 否则这个插件使用不了
工具使用快捷键：ctrl + shift + x
如果冲突则关掉其它的快捷键
三、xpath快速入门
image.png
/ 从根节点选取
如：https://www.baidu.com/，以下粟子都是百度网
-
/html/head/title --->百度一下，你就知道
*/html/head/title/text() --->百度一下，你就知道
image.png
/ / 不要考虑位置
@class="OFznuI WBEMXo"选取某个属性
[] 谓语 用来查找某个特定的节点或者包含某个指定的值的节点 谓语被镶嵌在方括号当中
- //div[@class="OFznuI WBEMXo"]/a --->BOSS直聘 2021-05 黑马程序员 2021-05
image.png
.和 ..基本上和dos命令差不多
image.png
image.png
image.png
image.png
image.png
四. lxml模块的使用
- 安装: pip install lxml 或 pip install lxml -i https://pypi.douban.com/simple
lxml python 官方文档：http://lxml.de/index.html
image.png
-
作用
- from lxml import etree
- 得到相应结果 网页源码
- etree.HTML(网页源码) ---> 返回一个 element对象
- element对象 就可以使用xpath进行导航了
在Python中，我们安装lxml库来使用XPath 技术
lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取HTML/XML数据利用etree.HTML，将字符串转化为Element对象
四.粟子
from lxml import etree
import csv
wb_data = """
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul>
</div>
"""
element = etree.HTML(wb_data)
# print(element) # <Element html at 0x2883dc8>
# 获取li标签下面的href属性
links = element.xpath('//li/a/@href')
# print(links) #['link1.html', 'link2.html', 'link3.html', 'link4.html', 'link5.html']
# 获取li标签下a标签的文本数据
result = element.xpath('//li/a/text()')
# print(result) #['first item', 'second item', 'third item', 'fourth item', 'fifth item']
# 将结果保存到CSV当中
# 准备工作
# 需求把结果组合到字典当中,如 {'href':'link1.html','title':'first item'} {'href':'link2.html','title':'second item'}... 将结果保存到csv文件当中
# 并将字典放入一个列表中
lst=[]
for link in links:
d = {}
d['href'] = link
# print(d)
# print(links.index(link))# 获取下标索引值
# print(result[links.index(link)])
d['title'] = result[links.index(link)]
# print(d)
# 把爬取到的数据添加到列表中
lst.append(d)
print(lst)
titles = ('href','title') #标题行
with open('练习.csv','w',encoding='utf-8',newline='') as file_obj:
writer = csv.DictWriter(file_obj,titles)
writer.writeheader()
writer.writerows(lst)
