1、安装使用到的相关库
scrapyd
pip3 install scrapyd
scrapyd-client
pip3 install scrapyd-client
- 安装完成后可以使用如下命令来检查是否安装成功
scrapyd-deploy -h
2、修改scrapy项目目录下的scrapy.cfg配置文件
[deploy]
url=http://localhost:6800
project=项目名称
3、修改后进行部署
本地部署
scrapyd-deploy -p <项目名称>
也可指定版本号
scrapyd-deploy -p <项目名称> --version <版本号>
运行爬虫
curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider
关闭爬虫
curl http://localhost:6800/cancel.json -d project=myproject -d job='jobid'
获取部署的爬虫项目列表
获取项目下的爬虫文件列表
curl http://localhost:6800/listspiders.json?project=myproject
获取工程下的爬虫运行状态
删除部署的爬虫项目
curl http://localhost:6800/delproject.json -d project=myproject
远端部署
一、配置项目运行环境
1、配置python环境
2、安装pip3
sudo apt install python3-pip
3、安装scrapy
pip3 install scrapy -i https://pypi.douban.com/simple/
4、安装scrapyd
pip3 install scrapyd
5、安装scrapyd-client
pip3 install scrapyd-client
6、添加爬虫运行的三方库
pip3 install requests
pip3 install pymysql
pip3 install pymongodb
7、修改scrapyd的配置文件，允许外网访问
8、对服务器安全组进行配置
- 进入服务安全组选项添加安全组
- 添加成功后，点击修改规则，添加如下信息(配置目的:允许访问6800端口)
- 完成后返回到云主机菜单，找到配置安全组菜单，跟换为刚才添加的安全组
- 最终完成后，在浏览器中输入ip地址和端口,显示如下图，说明配置成功
最后将项目部署到服务器中
1、修改scrapyd.egg (项目的配置文件)
[deploy]
url = http://118.24.255.219:6800
project=项目名称
连接数据库
连接mysql数据库
找到mysql配置文件并做如下修改：允许远程连接
sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf
将
bind-address= 127.0.0.1
注释掉或则修改为
bind-address= 0.0.0.0
授权root账户允许远程访问：
grant all privileges on . to root@'%' identified by 'password' with grant option;
MongoDB数据库的安装
sudo apt-get install mongodb
启动:
sudo service mongodb start 连接客户端报错参考如下网址： （输入：sudo systemctl enable mongodb） mongo
修改配置文件的路径
sudo vim /etc/mongodb.conf
redis数据库的安装
1、cd ~ （进入指定的目录）
2、下载redis数据库压缩包
3、解压下载的文件: tar -zxvf redis-4.0.10.tar.gz
4、复制,放到/usr/local目录下面( 先创建文件5、夹/usr/local/redis/ )
5、mv ./redis-4.0.11/* /usr/local/redis/
6、cd /usr/local/redis/
7、sudo make
sudo make test
sudo make install
8、sudo cp /usr/local/redis/redis.conf /etc/redis/
9、 修改配置文件,允许外网访问 sudo vim redis.cnf
10、将配置文件中的bind修改为: bind=0.0.0.0
11、启动redis服务： sudo redis-server redis.conf
12、链接客户端
redis-cli -h ip -p port
分布式爬虫的项目部署
1、将项目修改为分布式
pip3 install scrapy-redis
2、修改settings.py设置文件
#这里表示启用scrapy-redis里的去重组件，不实用scrapy默认的去重
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
#使用了scrapy-redis里面的调度器组件，不使用scrapy默认的调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
#允许暂停，redis请求的记录不会丢失，不清除Redis队列，可以恢复和暂停
SCHEDULER_PERSIST = True
#下面这些是request的队列模式
#一般情况下使用第一种
#scrapy-redis默认的请求队列形式（有自己的优先级顺序）
#是按照redis的有序集合排序出队列的
#SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"
# scrapy_redis.pipelines.RedisPipeline 必须启用，才能够将数据存储到redis数据库中
ITEM_PIPELINES = {
'example.pipelines.ExamplePipeline': 300,
'scrapy_redis.pipelines.RedisPipeline': 400,
}
# 指定要存储的redis的主机的ip，默认存储在127.0.0.1
REDIS_HOST = 'redis的主机的ip'
# 定要存储的redis的主机的port，默认6379
REDIS_PORT = '6379'
3、修改爬虫文件
4、部署爬虫项目
5、启动爬虫文件
6、给爬虫添加起始任务lpush key value(起始url)
