热门标签下名人名言的采集

采集过程：
在已建立的quotes项目下编写爬虫，并执行，同时保存为xml或者json格式。本次采集尝试使用两种方法，一个是css选择器，另一个是xpath选择器。
1、利用css编写爬虫tag1_spider.py

热门标签名人名言css.png

抓取结果：


名人名言css抓取结果.png

共获得101条数据
保存为xml：scrapy crawl tag1 -o tag1.xml


保存为xml格式.png
cssxml.png

在这个过程中遇到的问题是无法设置xml的层级结构，也就是说不能将相应的名人名言归在对应的所属的tag的标签里面，如上图所示，不能将tag为reading的名人名言放在reading对应的标签之下。
2.利用xpath编写爬虫tag3_spider.py

热门标签的名人名言xpath.png
名人名言xpath抓取结果.png

同样获得了101条数据
保存为xml：scrapy crawl tag3 -o tag3.xml

xpathxml.png
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容