使用xpath语法提取本地html文件的内容

安装lxml库

# pip install lxml
from lxml import html
# with open('路径', '模式', '编码') as f:
 f.write('写入的内容')
 f.read() # 读取模式

读取本地的html文件

with open('index2.html', 'r', encoding='utf-8') as f:
   html_data = f.read()
   # print(html_data)

提取h1标题中的内容

selector = html.fromstring(html_data)

/ 代表根节点

获取标签的内容需要在路径末尾增加/text()

h1 = selector.xpath('/html/body/h1/text()')
print(h1)

获取标签内容语法形式

//标签1[@属性="属性值"]/标签2[@属性="属性值"]/.../text()

// 代表从任意位置开始

获取a标签的内容

a = selector.xpath('//div[@id="container"]/a/text()')
print(a)

获取标签属性语法形式

//标签1[@属性="属性值"]/标签2[@属性="属性值"]/.../@属性名

link = selector.xpath('//div[@id="container"]/a/@href')
print(link)

当当网图书爬虫

import requests
from lxml import html

获取目标站点的源代码

url = 'http://search.dangdang.com/?key=9787115428028&act=input'
html_data = requests.get(url).text

xpath提取

selector = html.fromstring(html_data)

获取所有图书的价格

 price = selector.xpath('//div[@id="search_nature_rg"]/ul/li[1]/p[3]/span[1]/text()')
 print(price)
ul_lsit = selector.xpath('//div[@id="search_nature_rg"]/ul/li')
print(len(ul_lsit))

遍历

for li in ul_lsit:

价格

    price = li.xpath('p[3]/span[1]/text()')
    print(price)

书名

购买链接

店铺名称

当当网图书爬虫

import requests
from lxml import html
import pandas as pd
def spider(isbn):
    book_list = []

获取目标站点的源代码

如何格式化字符串 format方法

  url = 'http://search.dangdang.com/?key={}&act=input'.format(isbn)
  html_data = requests.get(url).text

xpath提取

 selector = html.fromstring(html_data)
 ul_lsit = selector.xpath('//div[@id="search_nature_rg"]/ul/li')
    print('共有{}家售卖此书'.format(len(ul_lsit)))

遍历

for li in ul_lsit:

价格

    price = li.xpath('p[3]/span[1]/text()')[0]
    price = price.replace('¥', '')
    price = float(price)

书名

        book_name = li.xpath('p[@class="name"]/a/@title')[0]

购买链接

      link = li.xpath('p[@class="name"]/a/@href')[0]

店铺名称

   store = li.xpath('p[@cla