线程池ThreadPoolExecutor使用注意事项

1. 线程池的作用:

  1. 重复利用已经创建好的线程, 降低创建线程和销毁线程的性能开销
  2. 合理的设置线程池大小可以避免因为线程数超出硬件资源瓶颈带来的问题,类似起到了限流的作用

2. 线程池的创建

2.1 原生线程池 ThreadPoolExecutor(推荐)
ThreadPoolExecutor(int corePoolSize,  
                              int maximumPoolSize,
                              long keepAliveTime,
                              TimeUnit unit,
                              BlockingQueue<Runnable> workQueue,
                              ThreadFactory threadFactory,
                              RejectedExecutionHandler handler)
image.png
2.2 JDK工具类 Executors(不推荐

1. newFixedThreadPool
工作线程控制在固定的数量上,但任务队列是无界的

    public static ExecutorService newFixedThreadPool(int nThreads) {
        return new ThreadPoolExecutor(nThreads, nThreads,
                                      0L, TimeUnit.MILLISECONDS,
                                      new LinkedBlockingQueue<Runnable>());
    }

2 newCachedThreadPool
最大线程数无上限

    public static ExecutorService newCachedThreadPool() {
        return new ThreadPoolExecutor(0, Integer.MAX_VALUE,
                                      60L, TimeUnit.SECONDS,
                                      new SynchronousQueue<Runnable>());
    }

3 使用注意事项

3.1 不要使用Executors提供的工具方法创建线程池,会导致OOM,原因已在上面分析
3.2 线程池参数的配置

1. corePoolSize、maximumPoolSize 的选择
因为实际很难界定系统是IO密集型还是CPU密集型,并且tasks、taskcost也不是一成不变的,所以实际使用中先根据经验估算出一个经验值,然后再通过压测验证经验值, 这时如果能直观的观察到线程池的内部状态就非常有必要了

参数 备注
根据任务类型估算:
CPU密集型: N+1
IO密集型: corePoolSize 1, maximumPoolSize: 2N
《Java多线程变成实战指南》
IO corePoolSize 为1, 是为了减少IO操作引起的上下文切换
根据tasks、taskcost、responsetime估算 https://www.lagou.com/lgeduarticle/18336.html
动态修改线程池配置 https://tech.meituan.com/2020/04/02/java-pooling-pratice-in-meituan.html

1.2 BlockingQueue的选择
通常认为LinkedBlockingQueue吞吐量会比ArrayBlockingQueueu高[https://www.jianshu.com/p/5b85c1794351]
i. ArrayBlockingQueue: 存储空间是预先分配的, 一把全局锁
ii. LinkedBlockingQueue: 存取两把锁,用于存储队列元素的存储空间是在其使用过程中动态分配的,因此它可能会增加JVM垃圾回收的负担。
1.3 拒绝策略的选择

图片来源于《Java线程池实现原理及其在美团业务中的实践》

ThreadPoolExecutor的扩展
因为ThreadPoolExecutor为了通用,只有在阻塞队列满的时候,才继续创建线程,那有没有办法corePoolSize达到时,继续创建线程,直到达到了maximumPoolSize才放到阻塞队列中,可以参考唯品会开源的QueuableCachedThreadPool

3.3 线程池的监控

线程池监控主要为以下几方面提供帮助:
1.为线程池调优提供参考
1.帮助定位问题以及监控报警

ThreadPoolExecutor提供一些方法暴露内部状态,可以将指标记录到监控中

    private void doMetric() {
        // 当前线程池中运行的线程总数
        MetricClient.record("thread.pool.pool.size", threadPoolExecutor.getPoolSize());
        // 历史峰值线程数
        MetricClient.record("thread.pool.largest.pool.size", threadPoolExecutor.getLargestPoolSize());
        // 当前任务队列中积压任务的总数
        MetricClient.record("thread.pool.queue.size", threadPoolExecutor.getQueue().size());
        // 当前活跃线程数
        MetricClient.record("thread.pool.active.size", threadPoolExecutor.getActiveCount());
    }
3.4 ThreadPoolExecutor需要在全局声明

否则会重复创建多个线程池, 而且核心线程池不会被销毁, 一个反例如下

    public static void main(String[] args) throws Exception {

        FixedThreadPool fixedThreadPool = new FixedThreadPool();

        for (int i = 0; i < 5; i++) {
            fixedThreadPool.test();
        }

        TimeUnit.SECONDS.sleep(100);
        System.out.println("Finished");
    }

    private void test() {
        ExecutorService threadPoolExecutor = new ThreadPoolExecutor(
                1, 10,
                0, TimeUnit.SECONDS,
                new LinkedBlockingQueue<>(5),
                new ThreadFactoryBuilder().setNameFormat("threadPool-%d").build());

        threadPoolExecutor.submit(() -> System.out.println(Thread.currentThread().getName()));
    }

因为调用test函数5次,最终会有5个线程,且状态为WAIT。


image.png
3.5 避免线程泄露

线程泄露是指线程池中的工作者意外终止,使得线程池中实际可用的工作者线程变少
如等待网络I/O, 而该任务有没有对这个等待指定时间限制,如果外部资源一直没有返回该任务所等待的结果,就会导致该线程一直处于等待状态而无法执行其他任务。

3.6 线程池隔离
  1. 1 避免相互影响
    应用中通常配置多个线程池,要根据任务的“轻重缓急”来指定线程池的核心参数,包括线程数、回收策略和任务队列,避免相互之间影响。
  2. 1 避免引发死锁
    提交给同一线程池实例执行的任务是相互独立的,而不是彼此有依赖关系的任务
    如下是一个引起死锁的极端例子, 任务A依赖任务B的执行结果,等待B的执行,任务B因为资源限制,位于阻塞队列中,等待任务A执行结束,造成死锁
        ThreadPoolExecutor threadPoolExecutor = new ThreadPoolExecutor(1, 2, 0, TimeUnit.SECONDS, new LinkedBlockingQueue<>(5));

        Runnable taskA = () -> {
            System.out.println("Task A start.");
            Runnable taskB = () -> System.out.println("Process Task B");

            Future result = threadPoolExecutor.submit(taskB);

            try {
                result.get();
            } catch (Exception e) {
                e.printStackTrace();
            }
            System.out.println("Task A finished");
        };

        Future future = threadPoolExecutor.submit(taskA);

        future.get();

参考文献:

  1. Java多线程编程实战指南
  2. Java线程池实现原理及其在美团业务中的实践
  3. ArrayBlockingQueue与LinkedBlockingQueue
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,384评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,845评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,148评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,640评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,731评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,712评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,703评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,473评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,915评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,227评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,384评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,063评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,706评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,302评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,531评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,321评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,248评论 2 352

推荐阅读更多精彩内容