简介

安装Pycharm 【这是比较推荐的IDE】

• 我使用的是2018版本：

  
  
  输入图片说明

安装 Virtualenv

• 直接参考之前的文档即可：https://www.jianshu.com/p/58760a582e72

Virtualenv 基本使用

• 查找python 的应用目录：/usr/bin/python2 和 /usr/bin/python3

输入图片说明

• 新建立 test-python 目录，然后在这个目录里面做测试 cd test-python

# 新建立虚拟环境
virtualenv -p /usr/local/bin/python3.6 venv

• 建立后大概这个样子：

  
  
  输入图片说明

• 启动虚拟环境 source ./venv/bin/activate source命令的作用是在当前bash环境下读取并执行duFileName中的命令。

• 然后可以通过 deactivate 退出虚拟环境，注意 deactivate 是虚拟环境中的一个命令。
  

  输入图片说明

• 然后我们还可以创建一个2.7的项目 virtualenv -p /usr/bin/python2 venv2

• 启动python 2.7项目，启动方法同上面是一样的 source ./venv2/bin/activate
  

  输入图片说明

安装Virtualenv的管理工具 Virtualenvwrapper

• pip install virtualenvwrapper 安装过程一般来讲比较顺利

# 如果缺少 pytest-cov 或者 pytest-filter 直接安装即可，一遍过的可以忽略这里。
pip install -i https://pypi.douban.com/simple pytest-cov
pip install -i https://pypi.douban.com/simple pytest-filter-subpackage

image.png

• 说实话我的安装好像有点问题，直接安装到 anaconda3/bin 下面去了，要不是find了一下还真找不到。find ~/ -name virtualenvwrapper.sh
  

  输入图片说明

• 修改 vim ~/.bash_profile 末尾加入：

# >>> linhai add workon >>>

# 这个目录注意一定要和 virtualenvwrapper 的相关目录一直否则会报错的，我的安装到 anaconda3下面了将错就错吧，我也无所谓了。
VIRTUALENVWRAPPER_PYTHON=/Users/apple/opt/anaconda3/bin/python3
export VIRTUALENVWRAPPER_VIRTUALENV=/usr/local/bin/virtualenv
export WORKON_HOME=$HOME/Desktop/coding/git-fiels/jk-python/codes
source /Users/apple/opt/anaconda3/bin/virtualenvwrapper.sh

# <<< linhai add workon <<<

• 让文件生效 source ~/.bash_profile
• 输入 workon --help 如果出现帮助信息表示安装成功了。

通过 mkvirtualenv 创建python 虚拟开发环境

• mkvirtualenv python_def，通过 python --version 可以看出默认创建的是 2.7的环境
  

  输入图片说明

• mkvirtualenv -p /Users/apple/opt/anaconda3/bin/python3 python_3x 通过命令创建一个3.x版本的环境
  

  输入图片说明

• 上面完全试验成功了，相对来讲好用多了，当前目录结构如下： deactivate; ls codes

• 然后我们还可以通过 workon 命令直接查看所辖的项目，当然为了管理方便最好还是需要进行代码的git管理的。
  

  输入图片说明

接下来建立一个简单scrapy 项目，用来串联所有的环境使用。

• mkvirtualenv -p /Users/apple/opt/anaconda3/bin/python3 test-scrapy 生成一个测试项目。

• 我的项目目录是：/Users/apple/Desktop/coding/git-fiels/jk-python/codes/test-scrapy/
  

  输入图片说明

• 用 pycharm 打开目录 /Users/apple/Desktop/coding/git-fiels/jk-python/codes/test-scrapy/ 打开后发现直接就在虚拟环境中了，如果没在可以通过workon 命令进入
  

  输入图片说明

• 安装 scrapy pip install -i https://pypi.douban.com/simple scrapy，然后查看版本，有信息表示成功。
  

  输入图片说明

• 创建一个名称叫做 cnblog 的项目scrapy startproject cnblog
  

  输入图片说明

• 接下来生成一个爬虫文件

cd cnblog/
scrapy genspider cnblogs  www.cnblogs.com

输入图片说明

• 如上创建后项目目录树中显示如下图：

输入图片说明

• 设置虚拟环境到 pycharm IDE中，File-Preferences 搜索 interpreter 找到对应项目 test-scrapy 的设置，实时上我的IDE直接识别了，非常Nice
  
  输入图片说明

为了调试方便添加main.py 作为爬虫启动文件

• 新建 main.py 内容如下：

from scrapy.cmdline import execute

import sys
import os

# print("#########")
# print( os.path.dirname(os.path.abspath(__file__)) )
# 目的是把当前的目录加入环境变量
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
# 执行爬虫
execute(["scrapy", "crawl", "cnblogs"])

• 之后就可以运行main.py 然后通过断点调试：

输入图片说明