【练习】爬当当网——字典嵌套元组（自己版）
import requests
from lxml import html
def spider(isbn):
# url = 'http://search.dangdang.com/?key=python%B1%E0%B3%CC%20%B4%D3%C8%EB%C3%C5%B5%BD%CA%B5%BC%F9&act=input'
url = 'http://search.dangdang.com/?key={}&act=input'.format(isbn) # 用国际标准书号的方法来查询
print(url)
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36'}
html_data = requests.get(url, headers=headers).text # 获取html_data内容
# print(html_data)
# 使用xpath语法提取html_data中我们需要的内容
selector = html.fromstring(html_data)
ul_list = selector.xpath('//div[@id="search_nature_rg"]/ul/li')
# selector.xpath('//@id="p24003310"/')
print('有{}家商家出售此书'.format(len(ul_list))) # 用长度leng()表示商家个数
i = 0
all_list = []
all_dict = {}
for li in ul_list:
print('第', i+1, '个商家')
# 爬取所有书籍的标题
# //标签1[@属性1="属性值"]/.../text()
# //标签2[@属性1="属性值"]/.../@属性名
title = li.xpath('p/a/@title')[0]
print(title)
str(title)
all_list.append(title)
# 获取所有购买链接
link = li.xpath('p/a/@href')[0]
print(link)
str(link)
all_list.append(link)
# 获取价格
price = li.xpath('p[@class="price"]/span[@class="search_now_price"]/text()')[0]
price = price.replace('¥', '')
print(price)
str(price)
all_list.append(price)
# 爬取除了当当自营以外的所有店铺
# 方法一：
store_name = li.xpath('p[@class="search_shangjia"]/a/text()')
if len(store_name) == 0:
store_name = '当当自营'
else:
store_name = store_name[0]
print(store_name)
# 方法二：
# store_name = li.xpath('p[@class="search_shangjia"]/a[1]/text()')[0]
str(store_name)
all_list.append(store_name)
i += 1
all_dict[i] = title, link, price, store_name
print("")
print('输出all_dict：', all_dict)
print('输出all_dict的长度：', len(all_dict))
print('输出all_dict的每个键值对的值：', all_dict.values())
print('输出all_dict的每个键值对的值的长度：', len(all_dict.values()))
list_turn = list(all_dict.values()) # 所有值转换成列表
print('原列表：', list_turn)
list_turn = sorted(list_turn, key=lambda x: float(x[2])) # 记得float()强制转换原来的字符串型价格数据
print('排序后：', list_turn)
isbn = input('请输入你要查询的书号：')
spider(isbn)
请输入你要查询的书号：9787115428028
http://search.dangdang.com/?key=9787115428028&act=input
有60家商家出售此书
第 1 个商家
Python编程 从入门到实践 【图灵程序设计丛书】Python3.5编程入门图书 机器学习 数据处理 网络爬虫热门编程语言 从基本概念到完整项目开发 帮助零基础读者迅速掌握Python编程 附赠源代码文件
http://product.dangdang.com/24003310.html
62.00
当当自营
第 2 个商家
Python编程从入门到实践+零基础入门学习Python+Python基础教程第三版 Python编程入门书籍全3册P
http://product.dangdang.com/1427665587.html
237.50
博鸿文化图书专营店
......
第 60 个商家
python基础教程 零基础学python3.5编程从入门到实践 精通计算机程序设计pathon核心技术网络爬虫书籍 python基础教程
http://product.dangdang.com/1324822717.html
138.00
嘉博致远图书专营店
输出all_dict： {1: (' Python编程 从入门到实践 【图灵程序设计丛书】Python3.5编程入门图书 机器学习 数据处理 网络爬虫热门编程语言 从基本概念到完整项目开发 帮助零基础读者迅速掌握Python编程 附赠源代码文件', 'http://product.dangdang.com/24003310.html', '62.00', '当当自营'), 2: (' Python编程从入门到实践+零基础入门学习Python+Python基础教程第三版 Python编程入门书籍全3册P ', 'http://product.dangdang.com/1427665587.html', '237.50', '博鸿文化图书专营店')......
输出all_dict的每个键值对的值的长度： 60
原列表： [(' Python编程 从入门到实践 【图灵程序设计丛书】Python3.5编程入门图书 机器学习 数据处理 网络爬虫热门编程语言 从基本概念到完整项目开发 帮助零基础读者迅速掌握Python编程 附赠源代码文件', 'http://product.dangdang.com/24003310.html', '62.00', '当当自营'),...]
排序后： [(' 现货 自我进化 发现你的创新力 蒂娜齐莉格 著 ', 'http://product.dangdang.com/1330247877.html', '37.00', '童心悦美图书专营店'), (' Python编程 从入门到实践 python核心编程基础教程数据分析快速上手入门学习手册网络爬虫 赠 配套源代码+习题答案+直播课+2000门课程,Python3.5编程入门图书 机器学习 数据处理 网络爬虫热门编程语言', 'http://product.dangdang.com/1100731314.html', '59.80', '翰诚图书专营店'),...]
http://product.dangdang.com/1330247877.html
37.00
童心悦美图书专营店
Python编程 从入门到实践 python核心编程基础教程数据分析快速上手入门学习手册网络爬虫 赠 配套源代码+习题答案+直播课+2000门课程,Python3.5编程入门图书 机器学习 数据处理 网络爬虫热门编程语言
http://product.dangdang.com/1100731314.html
59.80
翰诚图书专营店
Python编程 从入门到实践 【图灵程序设计丛书】Python3.5编程入门图书 机器学习 数据处理 网络爬虫热门编程语言 从基本概念到完整项目开发 帮助零基础读者迅速掌握Python编程 附赠源代码文件
http://product.dangdang.com/24003310.html
...
820.00
阅微阁图书专营店
