这篇文章主要是介绍利用scrapy爬取简书IT专栏的文章,并把爬取结果保存到数据库中。所以实现这些功能的前提电脑中安装了scrapy,MySQL数据库,和一些爬虫的基本知识。...

IP属地:江西
这篇文章主要是介绍利用scrapy爬取简书IT专栏的文章,并把爬取结果保存到数据库中。所以实现这些功能的前提电脑中安装了scrapy,MySQL数据库,和一些爬虫的基本知识。...
在用Scrapy爬取数据时需要用XPath确定路径,对于网页结构不熟悉的童鞋,需要认真找标签之间的嵌套关系,来确定所要提取内容的路径。一个简单的方法是,可以直接用Chrome...