1.安装Visual C++ Build Tools
由于Scrapy的依赖库文件中,pywin32和Twisted的底层是基于C语言开发的,因此需要安装C语言的编译环境。可以直接使用Visual Studio Installer
安装C++编译环境
选择使用c++的桌面开发,可以把其它的一些用不上的去掉。主要是第二个。
2.安装pywin32
pywin32的安装方法主要有以下几种:
2.1 使用exe安装包来进行安装
下载地址为:Python for Windows Extensions
根据电脑Python版本和位数下载并安装最新版的pywin32,它会自动寻找Python的安装路径,所以不需要做任何修改,一直单击【下一步】即可。
pywin32 exe安装
在进行安装时,不能正确寻找到python的安装目录,并将所搜索到的方法均进行尝试后仍然不能解决,遂放弃,可能是跟我使用的python没有加入环境变量吧
2.2使用PIP安装
python -m pip install pypiwin32
pip安装
安装完成后可以测试下有没有问题
import win32com
3.pip 安装Scrapy
请确保你的pip版本是最新的
pip install scrapy
安装过程中会自动安装依赖,如Twisted
写一个简单的scrapy语句,证明爬虫可以正常运行:
scrapy shell www.baidu.com
简单的测试下是否正常