Python版：实现双十一秒杀，防止超限

测试环境

ubuntu 16.04

python 3.6.6

redis 3.0.6

简单描述

抢购、秒杀是一个很常见的应用场景，主要需要解决的问题有两个：

1 高并发

2 如何解决库存的正确减少（"超卖"问题）

redis 命令说明

exists

返回key是否存在

# 原型

EXISTS key [key ...]

# 示例

EXISTS key1

incrby

将key对应的数字加decrement。如果key不存在，操作之前，key就会被置为0

# 原型

INCRBY key increment

# 示例

INCRBY mykey 5

setnx

将key设置值为value，如果key不存在，这种情况下等同SET命令。 当key存在时，什么也不做。SETNX是”SET if Not eXists”的简写。

# 原型

SETNX key value

# 示例

SETNX mykey "Hello"

流程图

流程要点说明：

这里要使用setnx初始化数据，这样可以避免key值遇到并发时被多次set

incrby后才判断是否超限，注意如果amount最大为100, 这里incrby后可能会大于100, 但不影响判断

python代码实现

app.py

import logging

from logging import handlers

import redis

from flask import Flask

# 为了方便查看添加日志

rf_handler = handlers.TimedRotatingFileHandler(

'redis.log', when='midnight', interval=1, backupCount=7)

rf_handler.setFormatter(

logging.Formatter(

"%(asctime)s %(filename)s line:%(lineno)d [%(levelname)s] %(message)s")

)

logging.getLogger().setLevel(logging.INFO)

logging.getLogger().addHandler(rf_handler)

app = Flask(__name__)

# connect redis

pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True)

r = redis.Redis(connection_pool=pool)

def limit_handler():

"""

return True: 允许; False: 拒绝

"""

amount_limit = 100 # 限制数量

keyname = 'limit' # redis key name

incr_amount = 1 # 每次增加数量

# 判断key是否存在

if not r.exists(keyname):

# 为了方便测试，这里设置默认初始值为95

# setnx可以防止并发时多次设置key

r.setnx(keyname, 95)

# 数据插入后再判断是否大于限制数

if r.incrby(keyname, incr_amount)

return True

return False

@app.route("/limit")

def v2():

if limit_handler():

logging.info("successful")

else:

logging.info("failed")

return 'limit'

if __name__ == '__main__':

app.run(debug=True)

简单测试

测试工具 ab

安装

sudo apt install apache2-utils

测试命令

ab -c 100 -n 200 http://127.0.0.1:5000/limit

# －c表示并发数, －n表示请求数

测试结果

通过日志可以看到最多只有5个successful

部署测试

方案: supervisor + gunicorn + gevent

安装依赖

apt-get install supervisor

pip install gevent

pip install gunicorn

2.生成配置

echo_supervisord_conf > supervisord.conf

3.修改配置, 在supervisord.conf最后添加

[program:redis-limit]directory = /home/dong/projects/py ; 程序的启动目录

command = gunicorn -k gevent -w 4 -b 0.0.0.0:5000 app:app ; 启动命令, 使用gevent, 开启4个进程

autostart = true ; 在 supervisord 启动的时候也自动启动

startsecs = 5 ; 启动 5 秒后没有异常退出，就当作已经正常启动了

autorestart = true ; 程序异常退出后自动重启

startretries = 3 ; 启动失败自动重试次数，默认是 3

redirect_stderr = true ; 把 stderr 重定向到 stdout，默认 false

stdout_logfile_maxbytes = 20MB ; stdout 日志文件大小，默认 50MB

stdout_logfile_backups = 20 ; stdout 日志文件备份数

stdout_logfile = /home/dong/projects/py/limit_stdout.log

4.启动supervisor服务

supervisord -c ./supervisord.conf

5.查看supervisor应用

# 如果没有启动可以手动start redis-limit

supervisorctl -c ./supervisord.conf

6.测试

ab -c 100 -n 200 http://127.0.0.1:5000/limit