linux下python多版本环境设置(数据科学研究依赖环境安装)

linux下python多版本环境设置(数据科学研究依赖环境安装)
经常遇到这样的情况:
系统自带的Python是2.6,自己需要Python 2.7中的某些特性;
系统自带的Python是2.x,自己需要Python 3.x;
此时需要在系统中安装多个Python,但又不能影响系统自带的Python,即需要实现Python的多版本共存。
pyenv就是这样一个Python版本管理器,除此之外,还可以使用virtualenv创建独立的纯净虚拟环境

一、pyenv安装

使用vm虚拟机安装centos7系统
1)默认安装方式使用NAT网络连接方式 确认IP后可以直接实现宿主机和虚拟机的互联,也能直接连接互联网
2)在centos安装配置界面中的软件选择界面,需要选择带有GHOME界面的配置,否则安装后的系统是不带界面的,使用不便

1.相关依赖软件安装

1)安装GCC
yum install gcc
2)安装git,需要用git获取pyenv的代码
yum -y install git
3)其他工具依赖
yum install -y readline readline-devel readline-static openssl openssl-devel openssl-static sqlite-devel bzip2-devel bzip2-libs

2.pyenv获取及配置

1)获取pyenv,安装位置选择在root根目录下,使用.隐藏目录,并设置环境变量。这里设置为root用户可用了,其实可以基于其他用户clone一份自己用的独立环境
git clone https://github.com/yyuu/pyenv.git ~/.pyenv
2)设置相关环境变量,使pyenv生效

echo 'export PYENV_ROOT="/root/.pyenv"' >>  ~/.bash_profile
echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile
echo 'eval "$(pyenv init -)"' >> ~/.bash_profile
source ~/.bash_profile

二、pyenv的使用

1.安装不同版本的python

pyenv install --list #查看可安装的python版本
pyenv install 3.6.5  #安装python3.6.5
pyenv uninstall 3.6.5 #卸载python3.6.5

补充:网络问题导致安装缓慢或无法进行

如anaconda之类大容量的版本,由于网络的问题,总是连接中断,安装失败。此时可以先从官方网站下载安装包,然后放在~/.pyenv/cache文件中(注意cache是个文件),然后执行pyenv install 此版本,pyenv会自动先从此文件夹中搜索

wget https://www.python.org/ftp/python/2.7.15/Python-2.7.15.tar.xz
cp Python-2.7.15.tar.xz  ~/.pyenv/cache
pyenv install 2.7.15

2.更新pyenv

安装完之后,需要更新一下才能看到已经安装的版本

pyenv rehash
pyenv versions #查看已经安装好的版本,带*号的为当前使用的版本

3.选择版本

pyenv global 3.6.5 #设置全局版本,即系统使用的将是此版本
这样在任意目录下执行python命令进入的都是3.6.5环境
pyenv local 2.7.15 #当前目录下的使用版本,有点类似virtualenv
在当前目录下执行 python 进入的都是2.7.15环境
pyenv global system #重新设置全局版本为系统的版本
而除了root用户(设置pyenv的用户)外,其他用户使用的仍是系统默认的2.7.5版本的python

三、virtualenv安装及使用

1.python virtualenv安装

可以直接使用pip安装virtualenv也行,但是通过pyenv插件的形式安装virtualenv的虚拟环境更加方便。

git clone https://github.com/pyenv/pyenv-virtualenv.git
cd pyenv-virtualenv/
./install.sh

安装virtualenv插件,安装在主文件夹下的.pyenv文件夹中。

git clone https://github.com/yyuu/pyenv-virtualenv.git ~/.pyenv/plugins/pyenv-virtualenv
echo 'eval "$(pyenv virtualenv-init -)"' >> ~/.bash_profile
./install.sh

2.创建虚拟环境

创建一个2.7.15的虚拟环境

pyenv virtualenv 2.7.15 py27
source ~/.bash_profile #执行这一步使当前用户环境都使用这个virtualenv环境

这条命令在本机上创建了一个名为env271的python虚拟环境,这个环境的真实目录位于:~/.pyenv/versions/
注意,命令中的 ‘2.7.15’ 必须是一个安装前面步骤已经安装好的python版本, 否则会出错。
可以通过pyenv versions 命令来查看当前的虚拟环境,列表中有一个 py27。

3.切换和使用新的python虚拟环境:

执行以下命令
pyenv activate py27
就能切换为py27这个版本的虚拟环境。
通过输入python --version查看现在版本,可以发现处于虚拟环境下了。
如果要切换回系统环境, 运行这个命令即可
pyenv deactivate
删除这个虚拟环境,只要直接删除它所在的目录就好:
rm -rf ~/.pyenv/versions/py27/
或者使用卸载命令:
pyenv uninstall py27

四、jupyter notebook 安装

1.安装数据科学依赖的软件

yum install bzip2 -y
yum groupinstall "Development Tools" -y

2.使用pyenv进入python3.6.5环境

在python3环境下实现数据科学的框架搭建

pyenv local 3.6.5
python --version
pip install ipython jupyter notebook

3.jupyter配置

jupyter安装完成后,验证命令是否可用并生成一个jupyter的配置文件。(确保pyenv环境正确)
jupyter notebook --generate-config

4.安全设置

为了比较安全的访问服务器资源,可以设置登录密码和设置https来实现安全登录。有条件可以通过安全认证中心来发放秘钥和认证。
首先打开ipython,生成sha1的密码,如下:

from notebook.auth import passwd
passwd()
#Enter password   sunline
#output sha1:5862585fb33e:afeb36aa85d02e0c37b0de7d7e6a4bc766e9fa6c

然后生成一个自签名认证的key,如下:
openssl req -x509 -nodes -days 365 -newkey rsa:4096 -keyout jkey.key -out jcert.pem
最后修改增加配置文件中的内容:

vim /home/user/.jupyter/jupyter_notebook_config.py
c.NotebookApp.password = 'sha1:<your-sha1-hash-value>'
c.NotebookApp.port = 8888
c.NotebookApp.ip = '192.168.245.128'
c.NotebookApp.open_browser = False
c.NotebookApp.certfile = '/home/user/jcert.pem'
c.NotebookApp.keyfile = '/home/user/jkey.key'

5.jupyter notebook使用

由于jupyter使用的8888作为默认端口,需要把端口给开放并重启防火墙。执行如下命令
firewall-cmd --zone=public --add-port=8888/tcp --permanent
然后重启防火墙
systemctl restart firewalld.service
到这里所有的安装和基本的设置都已经完成,直接在命令行输入:jupyter notebook.就可以启动进程。

6.实现后台运行并输出日志

创建start.sh 脚本内容为

nohup  start.sh  >> output.log 2>&1 &
nohup  /root/jupyterNotebook/start.sh  >> /root/jupyterNotebook/output.log 2>&1 &
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,033评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,725评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,473评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,846评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,848评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,691评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,053评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,700评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,856评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,676评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,787评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,430评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,034评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,990评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,218评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,174评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,526评论 2 343

推荐阅读更多精彩内容