数据解析工具
正则
正则表达式
是由一些字符和特殊符号组成的字符串，用来约束或描述一个有相似特征的字符串的组合。
组成正则表达式的元字符
基本元字符
^:表示以^之后的字符串为开头
$:表示以$之前的字符串为结尾
\:表示转义字符
转义元字符
\b:表示单词边界
\B:表示非单词边界
\d：表示0-9的数字
\D:表示除0-9的其它字符
\w:表示字母、数字、下划线
\W:表示除\w之外的字符
\n:表示换行符
. :表示除\n之外的字符
\r:回车，\f：换页，\t:制表符
量词元字符
+：表示前面的字符出现一次或多次
*：表示前面的字符出现0次或多次
？：表示前面的字符出现0或1次
{n}:表示前面的字符出现n次
{n,}：表示前面的字符出现至少n次
{n,m}：表示前面的字符出现n——m次
表示其中之一元字符
x|y：表示x或yi其中之一
[xyz]:表示[ ]中的字符其中之一
[^xyz]:表示除[ ]中字符
[a-z]:表示a-z连续字符中的其中之一
[^a-z]:表示除a-z连续字符中的字符
？
当该字符紧跟在任何一个量词元字符后时，表示非贪婪匹配（只匹配一次）
功能
正则捕获
按照正则表达式的规则从一个字符串中找到符合正则表达式格式的字符串。findall（）
正则匹配
根据正则表达式的规则判断一个字符串是否符合该表达式的格式。match（）或search（）
正则模块re
简介
python中re模块是正则模块，它是内置模块
常用方法
findall（）：从指定字符串中找到符合正则表达式规定的字符串。
match（）：判断一个字符串是否符合正则表达式定义的规则。
search（）：功能同match（）相同，不同在于match（）从字符串首部位置开始查找，若首部不匹配则显示为None，search（）会搜索整个字符串直到最后一个字符不匹配时才返回None。
compile（）：定义正则表达式
标志位说明
re.I:表示忽略字符串中的大小写
re.M:表示多行匹配
re.S:使元字符 . 匹配任何字符
re.L:表示支持本地字符集
re.U:表示unicode编码
re.X:表示忽略模式中的空格
使用步骤
1.导入正则模块：import re
2.定义正则表达式： p = re.compile("正则表达式")
3.捕获字符串： res = p.findall(采集的html文档字符串)
BeautifulSoup
简介
BeautifulSoup是python第三方库bs4中一个类
功能
从网页筛选数据，或html/xml标签中获取数据。
安装
pip install bs4 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
lxml:解析器，可以将html格式的字符串解析为html文档
pip install lxml
使用步骤
1.导入BeautifulSoup类：from bs4 import BeautifulSoup
2.定义BeautifulSoup对象：soup =BeautifulSoup("采集的字符"，"lxml")
3.使用soup对象调用方法对html中的数据进行筛选
常用属性与方法
属性
soup.标签名：获取第一个符合标签名的标签。
soup.标签名[‘属性名’]：获取标签属性名对应的属性值。
soup.text:获取标签或子标签中的文本
soup.get_text():同上
soup.string:只能获取无子标签的标签的文本。
方法
soup.find():查找第一个符合条件的元素
soup.find(“标签名”)
soup.find(”标签名“，属性名=”属性值“)
注意：class属性名要写出 class_
soup.find_all():查找所有符合条件的元素，并存储在列表中
soup.select()：根据css选择器查找元素
xpath
简介
是用来解析xml文档的工具，它依赖于lxml库
节点
分类
根节点 html
元素节点：html中的标签
属性节点：标签中的属性
文本节点：标签中文本内容
关系
父节点：每个元素都只有一个父节点
子节点：每个元素可以有0个、1个或多个子节点
同胞节点：拥有相同父节点的节点
先辈节点：某个节点的父节点、父父节点等
后代节点：某个节点的子节点、子子节点等
语法
节点的选取
nodename：选取此节点
/:从根节点选取（绝对路径）
//:从当前节点位置开始选取节点，从任意位置开始查找
.：选取当前节点，./从根节点开始向下查找
.. :选取当前节点的父节点
@：选取属性
谓语
用来查找某个特定的节点或者包含指定的值的节
点，谓语嵌在[ ]里
[number]：查找选取元素的第number个元素
[last()]：查找选取元素的最后一个元素节点
[last()-1]:查找选取元素的倒数第二个元素节点
[position()<3]:查找选取元素前面两个元素节点
[@属性名]：查找选取元素中拥有“属性名”的元素节点
[@属性名=‘属性值’]：查找选取元素中
属性名=‘属性值’的元素节点
通配符 *：选取任何节点
使用步骤
1.导入模块：from lxml import etree
2.如果是外部保存的.html文档，使用parse（）方法进行解析
html = etree.parse(html文档)
2.如果是采集的字符串类型的文档，使用HTML（）方法进行解析
html = etree.HTML(html格式的字符串)
3.使用xpath（）方法写路径表达式实现节点的选取
result = html.xpath(xpath路径表达式）
补充：在路径表达式中使用text（）方法获取节点中内容
