gunicorn 实践
背景
由于项目使用gunicorn部署，随着项目越来越大，需要优化的地方越来越多，所以需要对gunicorn的一些用法需要深度的了解一下，大概涉及一些官方不是很好理解的应用配置。
项目环境
- python 2.7.15
- gunicorn (latest)19.9.0
- CentOS 7.6
git 地址
https://github.com/everpuck/gunicorn_sample.git
实践一
preload_app 在后台线程中的使用
- 测试线程
def test_thread(interval=10):
while True:
# log.info('time now: %s', time.strftime("%Y-%m-%d %H:%M:%S", time.mktime()))
print 'time now: %s' % time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
time.sleep(interval)
- 测试启动配置一
import multiprocessing
bind = "0.0.0.1:8000"
workers = multiprocessing.cpu_count() * 2 + 1
reload = True
- 运行命令
gunicorn -c app_cfg_1 app_1:app
可以看到每个进程都有自己的后台线程输出时间
time now: 2019-01-20 17:05:13
time now: 2019-01-20 17:05:13
time now: 2019-01-20 17:05:13
time now: 2019-01-20 17:05:13
time now: 2019-01-20 17:05:13
time now: 2019-01-20 17:05:13
time now: 2019-01-20 17:05:13
time now: 2019-01-20 17:05:13
time now: 2019-01-20 17:05:13
- 测试启动配置二：加上preload_app选项
gunicorn -c app_cfg_1 --preload app_1:app
可以看到只有一个线程每隔10秒输出一次时间，验证了该后台线程只在master进程里起了一次。
time now: 2019-01-20 17:08:49
time now: 2019-01-20 17:08:59
time now: 2019-01-20 17:09:09
time now: 2019-01-20 17:09:20
实践二
preload_app 在后台进程中的使用测试
- 测试结果和线程类似，
- 但是在worker进程重启的时候报错(设定max_requests的值后)
[2019-01-21 14:21:39 +0000] [7477] [INFO] Autorestarting worker after current request.
[2019-01-21 14:21:39 +0000] [7477] [INFO] Worker exiting (pid: 7477)
Error in atexit._run_exitfuncs:
Traceback (most recent call last):
File "/usr/local/lib/python2.7/atexit.py", line 24, in _run_exitfuncs
func(*targs, **kargs)
File "/usr/local/lib/python2.7/multiprocessing/util.py", line 328, in _exit_function
p.join()
File "/usr/local/lib/python2.7/multiprocessing/process.py", line 146, in join
assert self._parent_pid == os.getpid(), 'can only join a child process'
AssertionError: can only join a child process
Error in sys.exitfunc:
Traceback (most recent call last):
File "/usr/local/lib/python2.7/atexit.py", line 24, in _run_exitfuncs
func(*targs, **kargs)
File "/usr/local/lib/python2.7/multiprocessing/util.py", line 328, in _exit_function
p.join()
File "/usr/local/lib/python2.7/multiprocessing/process.py", line 146, in join
assert self._parent_pid == os.getpid(), 'can only join a child process'
AssertionError: can only join a child process
google后意思是gunicorn在fork进程出现的问题，不推荐这样使用，原帖也给出了迂回解决方法，地址为：https://github.com/benoitc/gunicorn/issues/1391
preload 为True的情况下，会将辅助线程或者进程开在master里，加重master的负担（master最好只是用来负责监听worker进程），以及在内存吃紧的情况下如果做一些占用内存的工作会不会被Linux oom机制杀掉从而使服务挂掉。
实践三
多进程共享变量
- python 支持的内存共享变量只有ctype的array 和value
- 使用multiprocess 下的Manager可是实现多进程共享变量，但是同样遇到实践二里的报错。。。
- 使用multiprocess 下的Queue, 可以实现多进程通信
实践四
server hooks的使用
on starting
第一次启动gunicorn前执行
只执行一次
when ready
服务成功启动之后会执行
只执行一次
pre fork
worker进程启动前执行
worker每次重启都会执行
post fork
worker进程启动后执行
每次worker重启成功后就会执行
post_worker_init
Called just after a worker has initialized the application.
worker初始化完APP后执行
worker重启后也会执行
pre request
每次请求前执行
可获取到req的信息，做一些操作，需要注意的是如果正好worker重启则貌似不会执行
post request
每次请求后执行
可获取到req resp的信息，做一些操作，需要注意的是如果正好worker重启则貌似不会执行
