爬虫部署在centos6.5

在CentOS6.5下同时安装、使用Python2.x和Python3.x

一般情况下,各类Linux操作系统是会默认安装Python2.x的,而且是很多系统组件的依赖包,不推荐卸载。目前Python3.x逐渐取代Python2.x。如何在我们的系统内同时安装、使用Python2.x与Python3.x呢?
下载Python3.x,下载地址可以去Python官网上寻找。

[root@master]# curl -O https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tar.xz

解压已经下载完成的源码包:

[root@master]# tar -xvJf Python-3.6.3.tar.xz -C /usr/local/share
[root@master]# cd /usr/local/share/Python-3.6.3

如果你的系统没有安装gcc的话,你还需要先完成gcc的安装:

[root@master Python-3.6.3]# yum -y install gcc

把zlib(一般情况下zlib已经安装)及zlib-devel也安装上,免得之后编译、安装过程报错,scrapy有依赖sqlite,也给装上:

[root@master Python-3.6.3]# yum -y install zlib zlib-devel openssl-devel sqlite-devel

当前的工作目录为:/usr/local/share/Python-3.6.3,依次执行:

[root@master Python-3.6.3]# ./configure --prefix=/usr/local/share/applications/Python3.6.3  
[root@master Python-3.6.3]# make&&make install

从上图我们可以看到,本次安装同时还安装了pip(版本为9.0.1)


新建软连接:

[root@master Python-3.6.3]# ln -s /usr/local/share/applications/Python3.6.3/bin/python3.6 /bin/python3   
[root@master Python-3.6.3]# ln -s /usr/local/share/applications/Python3.6.3/bin/pip3 /bin/pip3

输入python3,如果出现以下内容说明已经安装成功!

一般情况下,不建议修改原来的python2.x的配置信息。写python2.x脚本时申明解释器时请使用:#!/bin/python。写python3.x脚本时申明解释器是请使用:#!/bin/python3,这样的话通过./即可运行python脚本,很方便。如果不申明解释器,则运行时分别使用python或python3,后面跟脚本的全名。使用pip的时候为了便于区分,键入pip3来以示区别。

scrapy 安装出错 centos6 requirement Twisted>=13.1.0

升级python3.6.3以后发现pip 无法直接通过pip install Twisted安装。

下载源码版本的 Twisted:

[root@master]#curl -O https://files.pythonhosted.org/packages/90/50/4c315ce5d119f67189d1819629cae7908ca0b0a6c572980df5cc6942bc22/Twisted-18.7.0.tar.bz2

下载完成,解压缩:

[root@master]#tar -jxvf Twisted-18.7.0.tar.bz2 

我下载的是最新的版本,并且是bz2格式压缩,因此采取以上的解压缩指令。

执行安装脚本:

[root@master]#cd Twisted-18.7.0
[root@master Twisted-18.7.0]#python3 setup.py install

等待安装完毕。
验证安装结果:


到此为止,成功通过源代码版本安装twisted!

bash: scrapy: command not found

新建软连接:

[root@master Python-3.6.3]# ln -s /usr/local/share/applications/Python3.6.3/bin/scrapy /bin/scrapy
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,033评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,725评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,473评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,846评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,848评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,691评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,053评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,700评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,856评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,676评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,787评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,430评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,034评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,990评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,218评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,174评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,526评论 2 343

推荐阅读更多精彩内容

  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    小迈克阅读 2,961评论 1 3
  • 欢迎转载,转载请注明来源:github地址 谢谢点赞 相关书籍下载 Python测试开发库 参考资料 https:...
    python测试开发阅读 4,599评论 1 67
  • Python开发简单爬虫(Python2.X版本,Eclipse工具) 一、爬虫介绍 爬虫调度端:启动、停止爬虫,...
    凛0_0阅读 2,129评论 2 10
  • 环境管理管理Python版本和环境的工具。p–非常简单的交互式python版本管理工具。pyenv–简单的Pyth...
    MrHamster阅读 3,783评论 1 61
  • 上周六的清晨,阳光灿烂,碧空如洗。大好光阴怎可在“懒床”中虚度。应攸州网户外达人的相邀,久未爬山的我,竟然有...
    潇湘燕子阅读 392评论 0 0