一、环境搭建
1.1、python环境安装
参考linux系统安装python3环境
1.2、Twisted安装
因为scrapy爬虫框架依赖Twisted插件，所有需要先安装它
1）cd opt/到目录，执行命令wget https://twistedmatrix.com/Releases/Twisted/18.9/Twisted-18.9.0.tar.bz2，下载对应版本
2）解压
执行命令tar -jxvf Twisted-18.9.0.tar.bz2
[root@localhost opt]# ll
drwxr-xr-x. 4 1000 mysql 245 10月 15 2018 Twisted-18.9.0
-rw-r--r--. 1 root root 3088398 10月 15 2018 Twisted-18.9.0.tar.bz2
1
2
3
3）安装
进入Twisted-18.9.0目录，执行命令python3 setup.py install
1.3、scrapy安装
执行命令pip3 install scrapy
1.4、scrapy-redis安装（非必须）
执行命令pip3 install scrapy-redis
如果需要使用scrapy-redis开发分布式爬虫，则需要安装该插件
二、部署运行
2.1、上传项目
将爬虫项目上传至linux服务器的opt/目录下（可使用rz命令或xftp工具）
[root@localhost opt]# ll
drwxr-xr-x. 3 root root 40 7月 4 10:40 scrapy03
1
2
2.2、启动爬虫
1）进入到/opt/scrapy03/scrapy03/spiders目录
[root@localhost spiders]# ll
总用量 8
-rw-r--r--. 1 root root 161 7月 4 10:40 __init__.py
drwxr-xr-x. 2 root root 67 7月 4 10:40 __pycache__
-rw-r--r--. 1 root root 919 7月 4 10:40 quanben.py
1
2
3
4
5
2）执行scrapy runspider quanben.py启动爬虫
3）将开启开始写入redis库中，爬虫会正式开始执行
在redis客户端中，执行命令lpush quanben:start_urls + 开始地址
D:\3.dev\soft\redis>redis-cli.exe -h 192.168.1.100 -p 6379
192.168.1.100:6379> lpush quanben:start_urls https://www.quanben.net/8/8583/4296044.html
(integer) 1
————————————————
