使用flask开发api——在CentOS下部署flask,使用gunicorn和supervisor部署服务

用flask开发了服务端的api,过程中遇到了些坑,记录部署上服务器的过程,以供后续使用。

安装python3.6


本身服务器只安装了python2,我需要安装python3,所以就下载安装python3.6,不能去动已安装的python2.X

1.下载

  wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tar.xz

2. 解压

  tar xvf  Python-3.6.6.tar.xz

3.编译安装

  进入目录 ./configure

  make && make install

python3源码编译已经自带pip3


创建原生虚拟环境


也可以不用虚拟环境,如不用则跳过这步

cd /opt/app_server/your_project_name


python3 -m venv <venv_name>

# 比如: python3 -m venv test_venv
# 创建成功后,就会创建一个test_venv目录,该目录下就会有基础的python3文件

# 最后激活虚拟环境:

source test_venv/bin/activate

# 激活成功后,会在控制台中显示虚拟环境的名称。


安装项目中需要的python 模块


1.安装模块

# 先生成项目需要的模块:我这使用pipreqs,如果没有安装先安装: pip3 install pipreqs
# 这个工具的好处是可以通过对项目目录的扫描,自动发现使用了那些类库,自动生成依赖清单。缺点是可能会有些偏差,需要检查并自己调整下。

# 进入本地项目目录运行:
pipreqs ./
# 生成requirements.txt文件

# 把requirements.txt文件放到服务器上
pip3 install -r requirements.txt  # 安装相应模块

2. 安装cx_Oracle

# 项目中需要连接oracle数据库,所以要安装cx_Oracle:

pip3 install cx_Oracle

# 安装时会检查系统中Oracle Client libraries的配置,如果没配置则会报错。
# 所以需要先配置Oracle Client libraries:具体可见https://oracle.github.io/odpi/doc/installation.html#linux

# 配置完后,安装不会报错。要注意:下载的cx_Oracle安装文件一定要跟pyhton的位数和版本一致,pyhton的位数最好是跟系统位数一致。


安装配置测试Gunicorn


1. 安装gunicorn

# 安装gunicorn
pip3 install gunicorn

# 等待安装完成
# 创建gunicorn存放日志文件夹,我这创建在项目目录下,方便查找
sudo mkdir /opt/app_server/your_project_name/logs
# 更改权限
sudo chmod -R 777 /opt/app_server/your_project_name/logs

2.测试gunicorn

# 这个时候其实已经可以运行了,进入项目路径下,运行:
gunicorn -b 0.0.0.0:8000 run:app
# run是flask的启动python文件,app则是flask应用程序实例
# 通过gunicorn -h可以看到gunicorn有非常多的配置项

3.创建gunicorn配置文件

配置文件的配置详解可以见:https://blog.csdn.net/y472360651/article/details/78538188

# -*- coding: utf-8 -*-
# 为了更好的管理gunicorn,通常会写个config文件,在项目目录下创建gunicorn_conf.py文件,内容如下
import os
import multiprocessing

# 获取当前该配置文件的绝对路径。gunicorn的配置文件是python文件,所以可以直接写python代码

path_of_current_file = os.path.abspath(__file__)

path_of_current_dir = os.path.split(path_of_current_file)[0]

chdir = path_of_current_dir

#workers = multiprocessing.cpu_count() * 2 + 1  # 可以理解为进程数,会自动分配到你机器上的多CPU,完成简单并行化

workers = 1  # 我这里不用多进程

worker_class = 'sync'  # 默认的worker的类型,如何选择见:[http://docs](http://docs).[gunicorn.org/en/stable/design.html#choosing-a-worker-type](http://gunicorn.org/en/stable/design.html#choosing-a-worker-type)

bind = '0.0.0.0:18088'  # 服务使用的端口

pidfile = '%s/gunicorn.pid' % path_of_current_dir  # 存放Gunicorn进程pid的位置,便于跟踪

accesslog = '%s/logs/gunicorn_access.log' % path_of_current_dir  # 存放访问日志的位置,注意首先需要存在logs文件夹,Gunicorn才可自动创建log文件

errorlog = '%s/logs/gunicorn_error.log' % path_of_current_dir  # 存放错误日志的位置,可与访问日志相同

reload = True  # 如果应用的代码有变动,work将会自动重启,适用于开发阶段

daemon = False   # 是否后台运行

debug = False

timeout = 5   # server端的请求超时秒数

loglevel = 'error'

4.用gunicorn配置文件启动

gunicorn run:app -c your_path/gunicorn_conf.conf

# 可以看看日志是否启动,尝试访问看是否成功。

5.重启/关闭gunicorn进程

查看Gunicorn进程

pstree -ap|grep gunicorn

重启Gunicorn任务

kill -HUP 7865

关闭Gunicorn任务

kill -9 7862


安装配置supervisor做守护进程


虽然gunicorn在配置了daemon参数为True后,就是控制面板关闭后,进程也不会退出,但不会出错后自动重启等操作。所以还是需要使用supervisor做后台守护。注意,如果要用supervisor管理gunicorn的,gunicorn的配置文件中一定要把daemon设置为False,如果配置daemon = True的话supervisor启动就会报错。所以但凡用supervisor管理的话,需要将守护进程模式改掉。

# 退出虚拟环境
deactivate

1.如果服务器中没有安装supervisor,先进行安装

# yum的方式
# supervisor没有发布在标准的CentOS源,需要安装epel源。
# 这种方式安装的可能不是最新版本,但比较方便,安装完成之后,配置文件会自动帮你生成。
# 还有个问题,我发现用yum安装的老版本(2.x的版本)配置文件里没有[include]选项,手动添加也没用,不知道是不是我没配置好。

sudo yum install supervisor  


# 我这使用easy_install的方式安装

easy_install supervisor  

# 安装完后是没有配置文件的,需要手动添加

echo_supervisord_conf > /etc/supervisord.conf  

# 这里添加好的配置文件里有[include]选项,只是被注释了。

2.配置supervisor 配置文件

默认配置文件有些地方是需要更改的。打开配置文件查看发现,supervisord.pid 以及 supervisor.sock 是放在 /tmp 目录下,但是 /tmp 目录是存放临时文件,里面的文件是会被 Linux 系统删除的,一旦这些文件丢失,就无法再通过 supervisorctl 来执行 restart 和 stop 命令了,会报错,所以修改这些目录:

[unix_http_server]

;file=/tmp/supervisor.sock   ; (the path to the socket file)

;修改为 /var/run 目录,避免被系统删除

file=/var/run/supervisor.sock   ; (the path to the socket file)

;chmod=0700                 ; socket file mode (default 0700)

;chown=nobody:nogroup       ; socket file uid:gid owner

;username=user              ; (default is no username (open server))

;password=123               ; (default is no password (open server))

;[inet_http_server]         ; inet (TCP) server disabled by default

;port=127.0.0.1:9001        ; (ip_address:port specifier, *:port for ;all iface)

;username=user              ; (default is no username (open server))

;password=123               ; (default is no password (open server))

...

[supervisord]

;logfile=/tmp/supervisord.log ; (main log file;default $CWD/supervisord.log)

;修改为 /var/log 目录,避免被系统删除

logfile=/var/log/supervisor/supervisord.log ; (main log file;default $CWD/supervisord.log)

logfile_maxbytes=50MB        ; (max main logfile bytes b4 rotation;default 50MB)

logfile_backups=10           ; (num of main logfile rotation backups;default 10)

loglevel=info                ; (log level;default info; others: debug,warn,trace)

;pidfile=/tmp/supervisord.pid ; (supervisord pidfile;default supervisord.pid)

;修改为 /var/run 目录,避免被系统删除

pidfile=/var/run/supervisord.pid ; (supervisord pidfile;default supervisord.pid)

...

;设置启动supervisord的用户,一般情况下不要轻易用root用户来启动,除非你真的确定要这么做

;user=chrism                 ; (default is current user, required if root)

...

[supervisorctl]

; 必须和'unix_http_server'里面的设定匹配

;serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL  for a unix socket

;修改为 /var/run 目录,避免被系统删除

serverurl=unix:///var/run/supervisor.sock ; use a unix:// URL  for a unix socket

;serverurl=[http://127.0.0.1:9001](http://127.0.0.1:9001) ; use an http:// url to specify an inet socket

;username=chris              ; should be same as http_username if set

;password=123                ; should be same as http_password if set

...

supervisor的配置参数较多,详细的配置及说明,请参考官方文档介绍,分号(;)开头的配置表示注释

为刚才创建的文件夹赋予权限:(如果指定了启动用户 user,那么应注意相关文件的权限问题,包括日志文件,否则会出现没有权限的错误。)

sudo chmod 777 /var/run
sudo chmod 777 /var/log



include配置

# 我们有多个项目不想在默认配置文件里改,为了便于区分,可以自己创建一个配置文件,然后在默认的配置文件supervisord.conf里最后加上如下字段:
[include]
files = /etc/supervisor/*.conf
# *表示导入任何后缀为conf的文件,也可以指定文件名导入. 多个conf文件使用空格分开即可
# supervisor文件夹如果不存在可以自行创建,当然也可以放在其他任何可访问的位置

在/etc/supervisor/下增加配置文件:my_job.conf

[program:my_job]
command=/opt/app_server/gunicorn_server_parkinglot/Envs/bin/gunicorn run:app -c /opt/app_server/gunicorn_server_parkinglot/my_job/gunicorn_conf.py
directory=/opt/app_server/gunicorn_server_parkinglot/my_job
autostart=true
autorestart=true
stopasgroup=true
stdout_logfile=/opt/app_server/gunicorn_server_parkinglot/my_job/logs/gunicorn_supervisor.log
stderr_logfile=/opt/app_server/gunicorn_server_parkinglot/my_job/logs/gunicorn_supervisor_err.log



使用浏览器管理
supervisor 同时提供了通过浏览器来管理进程的方法,只需要打开下面代码的注释就可以了。(就是把前面的;删除,如果是远程访问的则把ip改成0.0.0.0)

[inet_http_server]         ; inet (TCP) server disabled by default
port=0.0.0.0:9001        ; (ip_address:port specifier, *:port for ;all iface)
username=user              ; (default is no username (open server))
password=123               ; (default is no password (open server))


3.命令

supervisord : 启动supervisor
supervisorctl reload :修改完配置文件后重新启动supervisor
supervisorctl status :查看supervisor监管的进程状态
supervisorctl start 进程名 :启动XXX进程
supervisorctl stop 进程名 :停止XXX进程
supervisorctl stop all:停止全部进程,注:start、restart、stop都不会载入最新的配置文件。
supervisorctl update:根据最新的配置文件,启动新配置或有改动的进程,配置没有改动的进程不会受影响而重启

4.启动

启动supervisord后,可以访问服务器IP地址:9001,输入账号密码后就会看到管理界面。


PS : 我第一次启动的时候报错了:

2018-08-09 15:00:29,772 INFO gave up: my_job entered FATAL state, too many start retries too quickly

后来发现是因为前面说的gunicorn配置文件里,daemon参数忘记改回False了,故报错。改回配置后,重启还是失败,看了下进程,原来之前supervisor报错的时候其实gunicorn是已经启动了,所以要先把已经启动的gunicorn进程kill掉,然后重启supervisor,OK!测试,通过!


后续


因为我的是接口API服务,没有用到静态文件,没有对nginx进行说明,后面如有项目需要的可以再对nginx进行了解。

我这里没有把supervisor设置为开机自动启动,如有需要可参考https://blog.csdn.net/u011069013/article/details/73732855

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,711评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,079评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,194评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,089评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,197评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,306评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,338评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,119评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,541评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,846评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,014评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,694评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,322评论 3 318
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,026评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,257评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,863评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,895评论 2 351

推荐阅读更多精彩内容