2.Scrapy 安装

一 Python3.6安装

官网下载：https://www.python.org/

image.png

安装完成后需要把python的安装路径加入到path环境变量，为了可以在cmd命令行下直接可以使用python命令

image.png

二 【 安装pip】

https://pip.pypa.io/en/stable/installing/

image.png

下载 get-pip.py 文件到本地目录,然后在该目录下执行命令：

python get-pip.py

三 【 安装Scrapy】

依赖模块Twisted需要下载后安装，下载地址：
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

pip install Twisted‑17.9.0‑cp36‑cp36m‑win32.whl
pip install pywin32
pip install Scrapy

image.png

能执行scrapy命令，如上图，表示成功。

测试百度首页

scrapy fetch http://www.baidu.com

四 【文档】

官方最新版（英文）：https://docs.scrapy.org/en/latest/
低版本文档（中文）http://scrapy-chs.readthedocs.io/zh_CN/0.24/