Scrapy是一个Python下的爬虫框架,以前装过好几次,都很折腾,有一堆的依赖,还有centos6下python版本的问题,比较头痛。
前几天又在centos 7上折腾了一次,记录一下。
Scrapy官网上对于安装其实说得很清楚了,就那么几个步骤,但我几次安装都没这么顺利......
下面是2个方案,对于国外的网络环境,个人建议使用方案一,更简单一些。而对于国内的网络环境,还是方案二吧,国内连conda确实太慢了。
方案一:Miniconda
Scrapy官网上,推荐使用 Miniconda 来装,事实证明这个是最省事的方案。
首先去miniconda的官网下载需要的.sh文件(http://conda.pydata.org/miniconda.html),然后一步步安装即可。
需要注意的是,这个.sh文件有点大,大概27mb,直接服务器上下载可能会很慢。
然后,安装的话,也许会报错,我这边是缺 bzip2,可以先 yum 安装一下。
yum install -y bzip2
接下来,把Miniconda装好,就可以直接装Scrapy了。
conda install -c scrapinghub scrapy
方案一基本上不会出什么问题,除了国内网络环境使用 conda 的库很慢外。
方案二:pip
centos7自带的python是2.7,所以可以省掉安装python2.7的步骤了。
首先,需要安装yum的epel库。
yum install -y epel-release
然后,先安装一组依赖吧,有些可能不需要,我按自己缺的装了一遍。
yum install -y libffi-devel gcc clang python-devel openssl-devel libxslt-devel libxml2-devel
再来安装pip吧。
yum install -y python-pip
然后,centos7下,pip的版本不够新,所以,还需要升级一下pip。
pip install pip --upgrade
最后,安装scrapy吧。
pip install scrapy
顺利的话,应该就能正常装好了。
如果还有错,应该也是缺什么依赖,看看错误输出,google一下,装上应该就好了。