Windows下Python Scrapy框架的安装

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中,它拥有很多简化网站的高级函数。目前Scrapy仅支持Python 2.7版本, 由于依赖的Twisted的原因,目前还无法支持Python 3版本。

Scrapy的教程地址http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html

1、安装
使用pip命令: pip install Scrapy
由于Scrapy依赖一些外部库,安装过程中,会遇到一些依赖库无法下载,出现timeout的情况,这个时候挂VPN代理能够比较好的解决。

安装Scrapy timeout

挂上VPN, 重新安装:

3
4
5

验证是否安装成功:

6
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容