1.python2.7安装及下载
下载地址:https://www.python.org/
安装步骤:
1.点击.exe文件,然后按提示“下一步”,直至完成
2.python环境配置:我的电脑-->右键属性-->环境配置-->path-->添加你的python安装路径,把python目录下的Scripts也添加到path中
3.检验:在cmd中键入python,出现版本信息则安装成功
2. scrapy1.4.0及python依赖包下载安装
下载Scrapy-1.4.0包
安装pip-9.0.1.exe (为后面的pip install语句做准备)
安装lxml-3.2.4.win-amd64-py2.7.exe(版本因需而定)
安装pywin32-218.win-amd64-py2.7.exe (版本因需而定)
安装Twisted-13.2.0.win-amd64-py2.7.exe(最好下13.1.0否则会报错)
安装pyOpenSSL-0.13.1.win-amd64-py2.7.exe (版本因需而定)
安装zope.interface-4.3.3.win-amd64-py2.7.exe(https://pypi.python.org/pypi/zope.interface#downloads)
安装VS2008ProEdition90DayTrialCHSX1435983.iso(这个下载时间有点长,如果不装可能会报错)
安装MySQL-python-1.2.3.win-amd64-py2.7.exe(非必须)
检验是否安装成功(cmd中)
●执行import lxml,如果没报错,则说明lxml安装成功。
● 执行import twisted,如果没报错,则说明twisted安装成功。
● 执行import OpenSSL,如果没报错,则说明OpenSSL安装成功。
● 执行import zope.interface,如果没报错,则说明zope.interface安装成功。
●键入pip --version,出现版本信息则安装成功
ps:依赖包会出现在python目录下的 ...\Python\Lib\site-packages中
4 scrapy安装
方法1: 控制台输入:pip install scrapy(下载较慢)
方法2: 去官网下载解压,然后在其目录下执行python setup.py install进行Scrapy的安装。
检验方法:cmd中输入scrapy version,如果出现版本信息则成功
但是,windows下想这么简单是不可能的。一般会有一堆错误。
5 安装出现错误
a. scrapy 安装 出错 'module' object has no attribute 'OP_NO_TLSv1_1
问题是twisted版本太高,解决办法:pip install twisted==13.1.0
b. pip install twisted==13.1.0出错:UnicodeDecodeError: 'ascii' codec can't decode byte 0xb1 in position 9: ordinal not in range(128)
解决办法如下:
**在Python目录 Python27\Lib\site-packages 建一个文件sitecustomize.py
里面的内容是:
importsys
sys.setdefaultencoding('gb2312')
在cmd中:pip install wheel
出错
修改为
importsys
sys.setdefaultencoding('UTF-8')
在cmd中pip install wheel
成功
c 若报错:#XXX put more info here ...distributionNOTFound:...
解决方法:更新一下scrapy
pip install –upgrade scrapy