爬虫部署最后总结-zhihu_basic

1)supervisor配置和启动命令
配置文件放置的地方
cd etc/supervisor/conf.d
编写配置文件

[program:project]
command = python main.py //运行命令
autostart = true  //supervisor开机启动
autorestart = true  //异常崩掉以后重启
stdout_logfile = 文件地址   #日志地址
stderr_logfile = 文件地址

修改配置文件以后要重启supervisor

service supervisor restart

2)如果用supervisor管理scrapy,主程序要放到根目录以下,不然无法用crawl运行项目。。。但是启动以后好像运行速度很慢,也不知为什么
3)mongod的自启动和后台运行也可以用supervisor,参见第一步的配置

command = data/mongodb/bin/mongod --dbpath /data/db 其他都是相同的

4)打印日志很重要,很多错误都可以从日志中查出来
5)linux查看占用端口的进程

ps -ef | grep 名字
netstat -ap | grep 8080
lsof -i:8888
kill -9 id   //杀死进程

6)vim清空文档,非插入模式下

:.,$d

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容