简介
安装Pycharm 【这是比较推荐的IDE】
-
我使用的是2018版本：
输入图片说明
安装 Virtualenv
- 直接参考之前的文档即可：
https://www.jianshu.com/p/58760a582e72
Virtualenv 基本使用
- 查找python 的应用目录：
/usr/bin/python2和/usr/bin/python3
- 新建立
test-python目录，然后在这个目录里面做测试 cd test-python
# 新建立虚拟环境
virtualenv -p /usr/local/bin/python3.6 venv
-
建立后大概这个样子：
输入图片说明 启动虚拟环境
source ./venv/bin/activatesource命令的作用是在当前bash环境下读取并执行duFileName中的命令。-
然后可以通过
deactivate退出虚拟环境，注意 deactivate 是虚拟环境中的一个命令。
输入图片说明 然后我们还可以创建一个2.7的项目
virtualenv -p /usr/bin/python2 venv2-
启动python 2.7项目，启动方法同上面是一样的
source ./venv2/bin/activate
输入图片说明
安装Virtualenv的管理工具 Virtualenvwrapper
-
pip install virtualenvwrapper安装过程一般来讲比较顺利
# 如果缺少 pytest-cov 或者 pytest-filter 直接安装即可，一遍过的可以忽略这里。
pip install -i https://pypi.douban.com/simple pytest-cov
pip install -i https://pypi.douban.com/simple pytest-filter-subpackage
-
说实话我的安装好像有点问题，直接安装到 anaconda3/bin 下面去了，要不是find了一下还真找不到。
find ~/ -name virtualenvwrapper.sh
输入图片说明 修改
vim ~/.bash_profile末尾加入：
# >>> linhai add workon >>>
# 这个目录注意一定要和 virtualenvwrapper 的相关目录一直否则会报错的，我的安装到 anaconda3下面了将错就错吧，我也无所谓了。
VIRTUALENVWRAPPER_PYTHON=/Users/apple/opt/anaconda3/bin/python3
export VIRTUALENVWRAPPER_VIRTUALENV=/usr/local/bin/virtualenv
export WORKON_HOME=$HOME/Desktop/coding/git-fiels/jk-python/codes
source /Users/apple/opt/anaconda3/bin/virtualenvwrapper.sh
# <<< linhai add workon <<<
- 让文件生效
source ~/.bash_profile - 输入
workon --help如果出现帮助信息表示安装成功了。
通过 mkvirtualenv 创建python 虚拟开发环境
-
mkvirtualenv python_def，通过 python --version 可以看出默认创建的是 2.7的环境
输入图片说明 -
mkvirtualenv -p /Users/apple/opt/anaconda3/bin/python3 python_3x通过命令创建一个3.x版本的环境
输入图片说明 上面完全试验成功了，相对来讲好用多了，当前目录结构如下：
deactivate; ls codes-
然后我们还可以通过
workon命令直接查看所辖的项目，当然为了管理方便最好还是需要进行代码的git管理的。
输入图片说明
接下来建立一个简单scrapy 项目，用来串联所有的环境使用。
mkvirtualenv -p /Users/apple/opt/anaconda3/bin/python3 test-scrapy生成一个测试项目。-
我的项目目录是：
/Users/apple/Desktop/coding/git-fiels/jk-python/codes/test-scrapy/
输入图片说明 -
用 pycharm 打开目录
/Users/apple/Desktop/coding/git-fiels/jk-python/codes/test-scrapy/打开后发现直接就在虚拟环境中了，如果没在可以通过workon命令进入
输入图片说明 -
安装 scrapy
pip install -i https://pypi.douban.com/simple scrapy，然后查看版本，有信息表示成功。
输入图片说明 -
创建一个名称叫做 cnblog 的项目
scrapy startproject cnblog
输入图片说明 接下来生成一个爬虫文件
cd cnblog/
scrapy genspider cnblogs www.cnblogs.com
- 如上创建后项目目录树中显示如下图：
- 设置虚拟环境到 pycharm IDE中，File-Preferences 搜索
interpreter找到对应项目test-scrapy的设置，实时上我的IDE直接识别了，非常Nice
输入图片说明
为了调试方便添加main.py 作为爬虫启动文件
- 新建 main.py 内容如下：
from scrapy.cmdline import execute
import sys
import os
# print("#########")
# print( os.path.dirname(os.path.abspath(__file__)) )
# 目的是把当前的目录加入环境变量
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
# 执行爬虫
execute(["scrapy", "crawl", "cnblogs"])
- 之后就可以运行main.py 然后通过断点调试：
