爬虫部署在centos6.5

在CentOS6.5下同时安装、使用Python2.x和Python3.x

一般情况下,各类Linux操作系统是会默认安装Python2.x的,而且是很多系统组件的依赖包,不推荐卸载。目前Python3.x逐渐取代Python2.x。如何在我们的系统内同时安装、使用Python2.x与Python3.x呢?
下载Python3.x,下载地址可以去Python官网上寻找。

[root@master]# curl -O https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tar.xz

解压已经下载完成的源码包:

[root@master]# tar -xvJf Python-3.6.3.tar.xz -C /usr/local/share
[root@master]# cd /usr/local/share/Python-3.6.3

如果你的系统没有安装gcc的话,你还需要先完成gcc的安装:

[root@master Python-3.6.3]# yum -y install gcc

把zlib(一般情况下zlib已经安装)及zlib-devel也安装上,免得之后编译、安装过程报错,scrapy有依赖sqlite,也给装上:

[root@master Python-3.6.3]# yum -y install zlib zlib-devel openssl-devel sqlite-devel

当前的工作目录为:/usr/local/share/Python-3.6.3,依次执行:

[root@master Python-3.6.3]# ./configure --prefix=/usr/local/share/applications/Python3.6.3  
[root@master Python-3.6.3]# make&&make install

从上图我们可以看到,本次安装同时还安装了pip(版本为9.0.1)


新建软连接:

[root@master Python-3.6.3]# ln -s /usr/local/share/applications/Python3.6.3/bin/python3.6 /bin/python3   
[root@master Python-3.6.3]# ln -s /usr/local/share/applications/Python3.6.3/bin/pip3 /bin/pip3

输入python3,如果出现以下内容说明已经安装成功!

一般情况下,不建议修改原来的python2.x的配置信息。写python2.x脚本时申明解释器时请使用:#!/bin/python。写python3.x脚本时申明解释器是请使用:#!/bin/python3,这样的话通过./即可运行python脚本,很方便。如果不申明解释器,则运行时分别使用python或python3,后面跟脚本的全名。使用pip的时候为了便于区分,键入pip3来以示区别。

scrapy 安装出错 centos6 requirement Twisted>=13.1.0

升级python3.6.3以后发现pip 无法直接通过pip install Twisted安装。

下载源码版本的 Twisted:

[root@master]#curl -O https://files.pythonhosted.org/packages/90/50/4c315ce5d119f67189d1819629cae7908ca0b0a6c572980df5cc6942bc22/Twisted-18.7.0.tar.bz2

下载完成,解压缩:

[root@master]#tar -jxvf Twisted-18.7.0.tar.bz2 

我下载的是最新的版本,并且是bz2格式压缩,因此采取以上的解压缩指令。

执行安装脚本:

[root@master]#cd Twisted-18.7.0
[root@master Twisted-18.7.0]#python3 setup.py install

等待安装完毕。
验证安装结果:


到此为止,成功通过源代码版本安装twisted!

bash: scrapy: command not found

新建软连接:

[root@master Python-3.6.3]# ln -s /usr/local/share/applications/Python3.6.3/bin/scrapy /bin/scrapy
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    小迈克阅读 3,041评论 1 3
  • 欢迎转载,转载请注明来源:github地址 谢谢点赞 相关书籍下载 Python测试开发库 参考资料 https:...
    python测试开发阅读 4,672评论 1 67
  • Python开发简单爬虫(Python2.X版本,Eclipse工具) 一、爬虫介绍 爬虫调度端:启动、停止爬虫,...
    凛0_0阅读 2,149评论 2 10
  • 环境管理管理Python版本和环境的工具。p–非常简单的交互式python版本管理工具。pyenv–简单的Pyth...
    MrHamster阅读 3,850评论 1 61
  • 上周六的清晨,阳光灿烂,碧空如洗。大好光阴怎可在“懒床”中虚度。应攸州网户外达人的相邀,久未爬山的我,竟然有...
    潇湘燕子阅读 431评论 0 0