测试环境
- ubuntu 16.04
- python 3.6.6
- redis 3.0.6
简单描述
抢购、秒杀是一个很常见的应用场景，主要需要解决的问题有两个：
- 1 高并发
- 2 如何解决库存的正确减少（"超卖"问题）
redis 命令说明
exists
返回key是否存在
# 原型
EXISTS key [key ...]
# 示例
EXISTS key1
incrby
将key对应的数字加decrement。如果key不存在，操作之前，key就会被置为0
# 原型
INCRBY key increment
# 示例
INCRBY mykey 5
setnx
将key设置值为value，如果key不存在，这种情况下等同SET命令。 当key存在时，什么也不做。SETNX是”SET if Not eXists”的简写。
# 原型
SETNX key value
# 示例
SETNX mykey "Hello"
流程图
流程.png
流程要点说明：
- 这里要使用setnx初始化数据，这样可以避免key值遇到并发时被多次set
- incrby后才判断是否超限，注意如果amount最大为100, 这里incrby后可能会大于100, 但不影响判断
python代码实现
- app.py
import logging
from logging import handlers
import redis
from flask import Flask
# 为了方便查看添加日志
rf_handler = handlers.TimedRotatingFileHandler(
'redis.log', when='midnight', interval=1, backupCount=7)
rf_handler.setFormatter(
logging.Formatter(
"%(asctime)s %(filename)s line:%(lineno)d [%(levelname)s] %(message)s")
)
logging.getLogger().setLevel(logging.INFO)
logging.getLogger().addHandler(rf_handler)
app = Flask(__name__)
# connect redis
pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True)
r = redis.Redis(connection_pool=pool)
def limit_handler():
"""
return True: 允许; False: 拒绝
"""
amount_limit = 100 # 限制数量
keyname = 'limit' # redis key name
incr_amount = 1 # 每次增加数量
# 判断key是否存在
if not r.exists(keyname):
# 为了方便测试，这里设置默认初始值为95
# setnx可以防止并发时多次设置key
r.setnx(keyname, 95)
# 数据插入后再判断是否大于限制数
if r.incrby(keyname, incr_amount) <= amount_limit:
return True
return False
@app.route("/limit")
def v2():
if limit_handler():
logging.info("successful")
else:
logging.info("failed")
return 'limit'
if __name__ == '__main__':
app.run(debug=True)
简单测试
测试工具 ab
- 安装
sudo apt install apache2-utils
- 测试命令
ab -c 100 -n 200 http://127.0.0.1:5000/limit
# －c表示并发数, －n表示请求数
测试结果
-
通过日志可以看到最多只有5个successful
result.png
部署测试
方案: supervisor + gunicorn + gevent
- 安装依赖
apt-get install supervisor
pip install gevent
pip install gunicorn
2.生成配置
echo_supervisord_conf > supervisord.conf
3.修改配置, 在supervisord.conf最后添加
[program:redis-limit]
directory = /home/dong/projects/py ; 程序的启动目录
command = gunicorn -k gevent -w 4 -b 0.0.0.0:5000 app:app ; 启动命令, 使用gevent, 开启4个进程
autostart = true ; 在 supervisord 启动的时候也自动启动
startsecs = 5 ; 启动 5 秒后没有异常退出，就当作已经正常启动了
autorestart = true ; 程序异常退出后自动重启
startretries = 3 ; 启动失败自动重试次数，默认是 3
redirect_stderr = true ; 把 stderr 重定向到 stdout，默认 false
stdout_logfile_maxbytes = 20MB ; stdout 日志文件大小，默认 50MB
stdout_logfile_backups = 20 ; stdout 日志文件备份数
stdout_logfile = /home/dong/projects/py/limit_stdout.log
4.启动supervisor服务
supervisord -c ./supervisord.conf
5.查看supervisor应用
# 如果没有启动可以手动start redis-limit
supervisorctl -c ./supervisord.conf
6.测试
ab -c 100 -n 200 http://127.0.0.1:5000/limit
