common-pool2连接池技术初探

导言

连接是一项程序运行中比较重的资源获取,受限于网络的不可信等因素,创建连接的开销一般是比较巨大的,所以才会有各种池化技术的出现,同理于线程池技术,都是为了减少创建连接的耗时,所以线程池技术基本是在高并发的业务领域必须掌握的一项技术

连接池的技术

common-pool2技术是比较常见的一种连接池,在redis的java客户端jedis中是默认的连接池实现,在这里不鼓励大家去自己实现一个连接池,因为现成的轮子即使有问题,大部分开源的技术也是支持修改自定义的,在大量使用中经过了大流量考验的一种技术;所以在这里着重介绍这种常用的连接池技术

get start

首先引入maven依赖:

<dependency>

<groupId>org.apache.commons</groupId>

<artifactId>commons-pool2</artifactId>

<version>2.4.3</version>

</dependency>

common-pool2的核心类是GenericObjectPool类,这个类的作用主要是用来自定义一些配置和池中对象创建的工厂方法,可以看一下具体的代码实现:

public GenericObjectPool(PooledObjectFactory<T> factory,
            GenericObjectPoolConfig config) {

        super(config, ONAME_BASE, config.getJmxNamePrefix());

        if (factory == null) {
            jmxUnregister(); // tidy up
            throw new IllegalArgumentException("factory may not be null");
        }
        this.factory = factory;

        idleObjects = new LinkedBlockingDeque<PooledObject<T>>(config.getFairness());

        setConfig(config);

        startEvictor(getTimeBetweenEvictionRunsMillis());
    }

该类的构造方法有两个参数,PooledObjectFactory是创建池中对象的工厂对象,GenericObjectPoolConfig是连接池的配置对象。

连接池配置

最能直接提升工程效率的学习就是能立竿见影的知识,在连接连接池的源码之前可以先了解一下连接池的主要配置,看看良好的抽象是怎么做的:

maxTotal:池中对象的最大可创建数量,默认为8;
maxIdle:池中对象的最大空闲数量,默认也是8;
minIdle:池中对象的最小空闲数量,默认是0;
timeBetweenEvictionRunsMillis:空闲对象检测线程的执行周期,单位是ms,默认-1,小于等于0则不执行检测;
numTestsPerEvictionRun:检测空闲对象的数量,如果小于等于0,那么每次检测的是当前空闲数量/该配置的绝对值,,对结果向上取整;
testOnCreate:创建对象是检测对象是否有效;默认false;
testOnBorrow:在从对象池中获取对象时检测对象有效性,同上;
testOnReturn:在归还对象时检测有效,同上;
testWhileIdle:在检测空闲对象不需要移除时,是否对有效性进行检测,同上;
blockWhenExhausted:当对象池没有空闲对象时,新的获取对象的请求是否阻塞,默认true;
maxWaitMillis:表示等待空闲连接的最大时间,如果小于等于0,那么永不超时,一直阻塞等待,只有当大于0时才会生效,超过这个时间后会抛出NoSuchElementException的异常。默认-1,单位milis。
minEvictableIdleTimeMillis:对象空闲后强制移除的时间,小于等于0会被赋值为Long.MAX,大于0时才会生效,表示这个元素空闲时间的最大值。只要超过这个时间,那么就会无视minIdle的配置移除这个对象;
softMinEvictableIdleTimeMillis:当数量大于minIdle时对象被移除的最大空闲时间,赋值规则同上;

主要方法详细解释

1.最重要的方法当然是创建资源的方法了:

private PooledObject<T> create() throws Exception {
        //首先获取连接最大值
        int localMaxTotal = getMaxTotal();
        // This simplifies the code later in this method
        //如果小于0,那么复制为这
        if (localMaxTotal < 0) {
            localMaxTotal = Integer.MAX_VALUE;
        }

        // Flag that indicates if create should:
        // - TRUE:  call the factory to create an object
        // - FALSE: return null
        // - null:  loop and re-test the condition that determines whether to
        //          call the factory
        //用来标记是否需要创建的标志
        Boolean create = null;
        while (create == null) {
            //加锁进行创建,线程安全
            synchronized (makeObjectCountLock) {
                //创建计数
                final long newCreateCount = createCount.incrementAndGet();
                //和最大数量进行对比
                if (newCreateCount > localMaxTotal) {
                    // The pool is currently at capacity or in the process of
                    // making enough new objects to take it to capacity.
                    //如果已经超过最大计数,那么就将计数减1
                    createCount.decrementAndGet();
                    if (makeObjectCount == 0) {
                        // There are no makeObject() calls in progress so the
                        // pool is at capacity. Do not attempt to create a new
                        // object. Return and wait for an object to be returned
                        //没有其他正在调用的创建资源的方法,直接返回失败,等待资源的返回
                        create = Boolean.FALSE;
                    } else {
                        // There are makeObject() calls in progress that might
                        // bring the pool to capacity. Those calls might also
                        // fail so wait until they complete and then re-test if
                        // the pool is at capacity or not.
                        //如果有其他方法正在创建对象,那么就阻塞当前线程,并释放锁
                        makeObjectCountLock.wait();
                    }
                } else {
                    // The pool is not at capacity. Create a new object.
                    //创建标志置为真,方法调用数+ 1
                    makeObjectCount++;
                    create = Boolean.TRUE;
                }
            }
        }
        //判断是否需要创建,不需要直接返回
        if (!create.booleanValue()) {
            return null;
        }

        final PooledObject<T> p;
        try {
            //调用工厂方法来创建对象
            p = factory.makeObject();
        } catch (final Exception e) {
            createCount.decrementAndGet();
            throw e;
        } finally {
            synchronized (makeObjectCountLock) {
                //方法调用标记-1
                makeObjectCount--;
                //唤醒其他阻塞在这个对象上的线程
                makeObjectCountLock.notifyAll();
            }
        }

        final AbandonedConfig ac = this.abandonedConfig;
        if (ac != null && ac.getLogAbandoned()) {
            p.setLogAbandoned(true);
        }
        //已创建计数
        createdCount.incrementAndGet();
        allObjects.put(new IdentityWrapper<T>(p.getObject()), p);
        return p;
    }
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,948评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,371评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,490评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,521评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,627评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,842评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,997评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,741评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,203评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,534评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,673评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,339评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,955评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,770评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,000评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,394评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,562评论 2 349

推荐阅读更多精彩内容

  • 我们在服务器开发的过程中,往往会有一些对象,它的创建和初始化需要的时间比较长,比如数据库连接,网络IO,大数据对象...
    王广帅阅读 5,633评论 1 4
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,633评论 18 139
  • 一. Java基础部分.................................................
    wy_sure阅读 3,805评论 0 11
  • 一个不会游泳的人,老换游泳池是不能解决问题的。 一个不会做事的人,老换工作也解决不了自己的能力问题。 一个不懂经营...
    日光倾城52fhx阅读 432评论 0 0
  • 来上海的第四天!正好今天休息,也闲着,那就尝试一下新的画法,就拿起笔来画呗!有点潦草了!哈哈上面被我写了辽宁号……...
    麦子dee5阅读 261评论 0 5