这个问题之前就遇到了,今天终于下定决定好好解决一下,顺便回顾一下conda。
Mac下环境变量
Mac配置环境变量的地方,再mark一下:
1./etc/profile (建议不修改这个文件 )
全局(公有)配置,不管是哪个用户,登录时都会读取该文件。
2./etc/bashrc (一般在这个文件中添加系统级环境变量)
全局(公有)配置,bash shell执行时,不管是何种方式,都会读取此文件。
3.~/.bash_profile (一般在这个文件中添加用户级环境变量)
每个用户都可使用该文件输入专用于自己使用的shell信息,当用户登录时,该文件仅仅执行一次!
Anaconda
conda是个好东西,能根据需要隔离环境,想用什么版本的python用什么版本的,想装tensorflow装tf,想装pytorch装torch。
Anaconda装完之后会自动进入base环境,这个时候在terminal里面使用的是base环境下的python。
可以看到安装完之后初始化的内容就加到环境变量里面:
# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/Users/claire/anaconda2/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
eval "$__conda_setup"
else
if [ -f "/Users/claire/anaconda2/etc/profile.d/conda.sh" ]; then
. "/Users/claire/anaconda2/etc/profile.d/conda.sh"
else
export PATH="/Users/claire/anaconda2/bin:$PATH"
fi
fi
unset __conda_setup
# <<< conda initialize <<<
在echo $PATH的时候,python就会用conda的python bin:
(test) localhost:data claire$ echo $PATH
/Users/claire/anaconda2/envs/test/bin:/Users/claire/anaconda2/condabin:/project/claireBlog/apache-maven-3.5.2/bin:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/go/bin:/project/go/bin:/usr/local/zookeeper/bin
一般使用anaconda几个常用命令mark一下:
1. 创建环境:conda create -n <your_env_name> python=X.X
2. 查看环境:conda env list
3. 激活环境:conda activate <your_env_name>
4. 关闭环境:conda deactivate
5. 安装包: conda install <package_name>
6. 删除包:conda remove <package_name>
7.查看版本:conda --version (4.6.8)
Jupyter Notebook
jupyter nodebook很适合python交互,是一个基于web的交互式计算环境,可以做到在浏览器里面单不运行python代码。
Tornado是使用python编写的Web服务器兼Web应用框架,异步非阻塞式服务器(单进程单线程异步IO,适合用来开发长轮询、WebSocket和需要与每个用户建立持久连接的应用。
因为看到Jupyter起来的时候会调用Tornado的包,于是特意看了眼,官网上是这样说的:
Running a notebook server — Jupyter Notebook 6.0.3 documentation
The Jupyter notebook web application is based on aserver-client structure. The notebook server uses a two-process kernelarchitecture based on ZeroMQ, as well as Tornado forserving HTTP requests.
Jupyter notebook是CS模式的Web应用,他用Tornado来处理HTTP请求,并且由于Tornado的特性,他不支持多用户,如果想要多用户服务器,官方建议用JupyterHub。
关于ZeroMQ,也捎带着看了一下,号称是“史上最快的消息队列”,基于c语言开发的。
引用官方说法,“ZMQ(以下ZeroMQ简称ZMQ)是一个简单好用的传输层,像框架一样的一个socket library,他使得Socket编程更加简单、简洁和性能更高。是一个消息处理队列库,可在多个线程、内核和主机盒之间弹性伸缩。ZMQ的明确目标是“成为标准网络协议栈的一部分,之后进入Linux内核”。现在还未看到它们的成功。但是,它无疑是极具前景的、并且是人们更加需要的“传统”BSD套接字之上的一 层封装。ZMQ让编写高性能网络应用程序极为简单和有趣。” 确实,它跟RabbitMQ,ActiveMQ之类有着相当本质的区别,ZeroMQ根本就不是一个消息队列服务器,更像是一组底层网络通讯库,对原有的Socket API加上一层封装,是我们操作更简便。使用时只需要引入相应的jar包即可。
浅析ZeroMQ_大数据_AudiFashion的博客-CSDN博客
Mac的openssl问题
在terminal尝试打开jupyter notebook,报ssl的错:
Traceback (most recent call last):
File "/usr/local/bin/jupyter-notebook", line 7, in
from notebook.notebookapp import main
File "/usr/local/lib/python3.7/site-packages/notebook/notebookapp.py", line 62, in
from tornado import httpserver
File "/usr/local/lib/python3.7/site-packages/tornado/httpserver.py", line 29, in
import ssl
File "/usr/local/Cellar/python/3.7.1/Frameworks/Python.framework/Versions/3.7/lib/python3.7/ssl.py", line 98, in
import _ssl # if we can't import it, let the error propagate
ImportError: dlopen(/usr/local/Cellar/python/3.7.1/Frameworks/Python.framework/Versions/3.7/lib/python3.7/lib-dynload/_ssl.cpython-37m-darwin.so, 2): Library not loaded: /usr/local/opt/openssl/lib/libssl.1.0.0.dylib
Referenced from: /usr/local/Cellar/python/3.7.1/Frameworks/Python.framework/Versions/3.7/lib/python3.7/lib-dynload/_ssl.cpython-37m-darwin.so
Reason: image not found
后来发现是mac升级之后openssl的问题:
openssl Issue in Mac · Issue #6180 · microsoft/azuredatastudio · GitHub
这里说到workaround是使用命令 brew install openssl 重装openssl
不过试了试了一下,openssl已经是最新的1.1:
Warning: openssl@1.1 1.1.1d is already installed and up-to-date
还有人说卸了再重装,其实也没什么用。
后来看到一篇神文,说要从1.1切换到旧版本1.0的openssl就可以了。
swift - dyld: Library not loaded: /usr/local/opt/openssl/lib/libssl.1.0.0.dylib - Stack Overflow
首先用 ls -al /usr/local/Cellar/openssl 命令查看版本:
(test) localhost:data claire$ ls -al /usr/local/Cellar/openssl
total 0
drwxr-xr-x 3 claire staff 96 Apr 15 2019 .
drwxrwxr-x 97 claire admin 3104 Apr 27 14:26 ..
drwxr-xr-x 13 claire staff 416 Apr 15 2019 1.0.2r
然后用 brew switch openssl 1.0.2r 切换版本。
自此,解决问题。
再用jupyter notebook,正常打开。
虽然到最后也没有用网页版的,用的vscode切换到conda环境里它自己装的,感觉现在IDE对jupyter的集成很棒也很方便,但是终于算是解了这个问题。