#xml是网页源码
from scrapy.selector import Selector
s = Selector(text = xml)
# 提取第一个,@表示tag的某个属性
xpath_1 = s.xpath('//dl[@class="xxxxx"]/dd/img/@title').extract_first()
# 提取所有
xpath_2 = s.xpath('//div[@class="xxxxx"]/ul/li/a/@rel').extract()
# 多个条件,text()表示tag的文本
xpath_3 = s.xpath('//div[@class="xxxxx" and @id="yyyyy"]/div[@class="xxxxx"]/p/text()').extract()
# 匹配任意tag
xpath_4 = s.xpath('//div[@class="xxxx"]/dl[@class="xxxxxx"]/*/text()').extract()
# 匹配任意条件的tag
xpath_5 = s.xpath('//div[@class="xxxx"]/dl/*[@class="xxxxxx"]/text()').extract()
scrapy之xpath
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
相关阅读更多精彩内容
- 我们直接看例子:网址:http://quotes.toscrape.com/ 1. xpath提取方法:用谷歌浏览...
- 创建scrapy项目 填充 item.py文件 在这里定义想要存储的字段信息 填充middlewares.py文件...
- 之前我们使用了selenium加Firefox作为下载中间件来实现爬取京东的商品信息。但是在大规模的爬取的时候,F...
- 练习1.抓取一个页面的内容网址:http://stackoverflow.com/questions?sort=v...