虚拟环境搭建
安装虚拟环境工具
pip install virtualenvwerpper
修改env环境变量
新建WORKON_HOME
路径可以自定义,我的是F://Envs
创建虚拟环境
mkvirtualenv py3scrapy
创建完成后会有标识
(py3scrapy) C:\Users\
接下来安装scrapy,可以使用豆瓣的镜像文件
(py3scrapy) C:\Users\志刚>pip install -i https://pypi.douban.com/simple scrapy
可能会遇到错误
比如安装twisted
building 'twisted.test.raiser' extension
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual
C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools
意思是你需要安装 Microsoft Visual C++ 14.0,但是电脑上有,其实只是这个依赖包的问题,可以到下面的网站直接下载twisted
https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
版本选择可以根据你的需要来
cp 后面是python版本号,win32就是32位的,amd指的是amd处理器,不用理解
下载完成后cd到文件下载目录进行安装
pip install Twisted‑17.9.0‑cp36‑cp36m‑win_amd64.whl
这个安装也需要在虚拟环境中安装,如果你不小心退出了
workon py3scrapy
就可以进入
安装完成后,再次安装scrapy
(py3scrapy) C:\Users\志刚>pip install -i https://pypi.douban.com/simple scrapy
即可完成安装