Linux(Centos)下搭建Scrapy环境

Scrapy是一个健壮的网络框架,他可以从各种数据源中抓取数据。作为一个普通的网络用户,你会发现自己经常需要从网站上获取数据。而在使用Scrapy之前,我们需要搭建Scrapy的运行环境。

1、安装Python3和pip环境

Linux通常自带的有Python2的环境,此时如果想使用Python3,但是因为Python2被很多其他应用关联,所以我们不能破坏原有的Python2的环境。参考:Linux(Centos)下安装Python3.6和pip
安装好python3和pip后,升级pip(如果pip的版本太老,很多包都无法安装。)

python3 -m pip install --upgrade pip

2、安装Scrapy

由于scrapy相关依赖较多,先安装依赖
w3lib解决安装错误:ImportError: No module named w3lib.http

pip install w3lib

Twisted解决安装错误:ImportError: No module named twisted

pip install twisted

lxml解决安装错误:ImportError: No module named twisted

pip install lxml

3、验证scrapy是否安装成功

import scrapy

未出现错误,则表示scrapy安装成功。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容