Python分布式爬虫实战(二) - 搭建 Mac 开发环境

0 环境及版本

系统

  • Mac OS


IDE

PyCharm 2018.3.5

数据库

  • MySQL 5.7



    Redis, elasticsearch

开发环境

virtualenv

1 Pycharm的安装及简单使用

下载 PyCharm

设置快捷键

设置解释器

2 MySQL和Navicat的安装和使用

2.1 MySQL

下载与安装

2.2 Navicat

3 Python安装

推荐py3.5+版本

4 virtualenv和virtualenvwrapper安装和配置

4.1 virtualenv简介

每个应用可能需要各自拥有一套独立的Python运行环境。virtualenv就是用来为一个应用创建一套隔离的Python运行环境。

优点

  • 使不同应用开发环境独立
  • 环境升级不影响其他应用,也不会影响全局的python环境
  • 防止系统中出现包管理混乱和版本的冲突

它是将全局Python解释器进行私有化复制
如果不使用虚拟环境,默认的pip安装都会安装到同一个目录(java是把自己需要的包放到自己项目目录),不同项目使用起来会产生问题

安装

pip install virtualenv

查看 virtualenv

4.2 virtualenvwrapper 简介

virtualenv的扩展管理包,用于更方便管理虚拟环境

优点

  • 将所有虚拟环境整合在一个目录下
  • 管理(新增,删除,复制)虚拟环境
  • 切换虚拟环境

安装

pip install virtualenvwrapper
  • 查询安装路径


    which virtualenvwrapper.sh
  • 修改.bash_profile


    vim /Users/sss/.bash_profile

在最后加入:

export WORKON_HOME=$HOME/.virtualenvs
export VIRTUALENVWRAPPER_SCRIPT=/Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenvwrapper.sh
export VIRTUALENVWRAPPER_PYTHON=/Library/Frameworks/Python.framework/Versions/2.7/bin/python2
export VIRTUALENVWRAPPER_VIRTUALENV=/Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenv
export VIRTUALENVWRAPPER_VIRTUALENV_ARGS='--no-site-packages'
source /Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenvwrapper.sh
  • 立即生效


    source ~/.bash_profile
  • 到其工作目录


    cd ~/.virtualenvs ls
  • 查看当前系统py版本



    为py2.7

  • 现在,希望创建py3的环境

  • 查询py3位置


    which python3
  • 创建py3环境


    mkvirtualenv --python=/Library/Frameworks/Python.framework/Versions/3.7/bin/python3 py3scrapy
  • 查看python版本


其他常用的命令:

$ workon                显示所有的环境名称
$ workon 环境名          进入/切换到该环境
  • deactivate 返回到系统环境


$ rmvirtualenv          移除环境
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容