web
image
- 基于scrapyd
- 提供主机管理功能
- 基于scrapyd管理已安装服务的主机。
- 进入具体主机管理页面，会自动加载所有已知爬虫任务；
- 可直接可以调度、运行、查看日志。
- 提供项目管理功能
- 将已知项目放到project目录下，可进行爬虫项目单台机器、多台机器部署。
- 提供项目代码在线编辑功能
- 提供任务管理功能
- 基于项目-爬虫的管理，可以构建爬虫调度任务。
- 目前支持三种类型调度，date、interval、cron（基本能满足日常需求）
Installation
注：从 Gerapy 2.x 开始，其定位发生改变，不再支持 Scrapyd，转而支持 Docker、Kubernetes 的部署，另外开发还会迁移到 Scrapy 可视化配置和智能解析方面，敬请期待
pip3 install -U gerapy
Initialization
gerapy init / gerapy init GerapySpace
Database Configuration
cd gerapy
gerapy migrate
New User
gerapy initadmin
会初始化一个超级管理员账号， username： admin password： admin
gerapy createsuperuser
如果不想用admin,也可以根据提示，创建一个超级用户
Startup service
gerapy runserver
如果想要在公网访问服务
gerapy runserver 0.0.0.0:8000
如果想后台启动服务可以使用
gerapy runserver 0.0.0.0:8000 > /dev/null 2>&1 &
Docker
Pull gerapy
docker pull germey/gerapy
run docker
docker run -d --name gerapy -v ~/gerapy:/app/gerapy -p 8000:8000 germey/gerapy
docker run -d -v <workspace>:/app/gerapy -p <public_port>:<container_port> germey/gerapy
link
参考：
