Python中使用Redis遭遇Too many open files

今天服务突然爆出好多异常日志：
ConnectionError: Error 24 connecting to 127.0.0.1:6379. Too many open files.

通过命令cat /proc/(redis-sever_PID)/limits获得

Max open files  4016  4016  files

第一反应是觉得可能4016过小，所以需要对其升值。

编辑/etc/sysctl.conf 添加如下内容：

fs.file-max = 65535

运行sysctl -p

再编辑 /etc/security/limits.conf:

root soft nofile 65536
root hard nofile 65536
* soft nofile 65536
* hard nofile 65536

使用命令ulimit -n 65535，将最大文件数提高至65535，这种修改只是在当前shell中生效，想要真正对Redis中Max open files进行修改，就需要在当前shell中进行重启redis，然后服务就恢复了正常。这种方法其实是治标不治本的

在临时解决异常问题后，需要思考为什么会有这么多未释放的连接。

经过分析，在创建Redis连接时，都会创建一个ConnectionPool。这导致，每获取一个StrictRedis时，都会创建一个新的ConnectionPool，这才是导致文件数过多的原因。

解决方案：

先创建创建一个ConnectionPool
pool = redis.ConnectionPool(host='localhost', port=6379, db=0)

然后创建一个Redis
r = redis.Redis(connection_pool=pool)

修改前的代码

import os
import logging

import redis

logger = logging.getLogger(__name__)


def redis_connect(db=2):
    """
    Established an resid connection.
    """
    REDIS_HOST = '127.0.0.1'
    REDIS_PORT = 6379
    REDIS_PWD = None
    REDIS_USER = None

    redis_client = redis.Redis(host=REDIS_HOST, port=int(
        REDIS_PORT), db=db, password=REDIS_PWD, retry_on_timeout=True)

    return redis_client

修改后的代码

# coding: utf-8

import os
import logging

import redis

redistogo_url = os.getenv('REDISTOGO_URL', None)
if not redistogo_url:
    REDIS_HOST = '127.0.0.1'
    REDIS_PORT = 6379
    REDIS_PWD = None
    REDIS_USER = None
else:
    redis_url = redistogo_url
    redis_url = redis_url.split('redis://')[1]
    redis_url = redis_url.split('/')[0]
    REDIS_USER, redis_url = redis_url.split(':', 1)
    REDIS_PWD, redis_url = redis_url.split('@', 1)
    REDIS_HOST, REDIS_PORT = redis_url.split(':', 1)

pool_2 = redis.ConnectionPool(host=REDIS_HOST, port=int(
    REDIS_PORT), db=2, retry_on_timeout=True)
pool_3 = redis.ConnectionPool(host=REDIS_HOST, port=int(
    REDIS_PORT), db=3, retry_on_timeout=True)


def redis_connect(db=2):
    """
    Established an resid connection.
    """
    if db == 2:
        redis_client = redis.Redis(connection_pool=pool_2)
    if db == 3:
        redis_client = redis.Redis(connection_pool=pool_3)
    return redis_client

Python中使用Redis遭遇Too many open files

推荐阅读更多精彩内容