高并发篇-浅谈线程池那些事

首先啰嗦两句,高并发并不意味着就是线程池那些玩意,但是线程池的灵活运用可以很好的缓解高QPS的问题。在大型互联网公司里面,线程池的运用可以说是无处不在,可能会有部分同学会说,我extends thread或者implements runnable接口不就行了用啥线程池?但是在集团内部我们代码规定不建议开发者用new thread的形式去开辟一个线程,为什么呢?一方面你可以看到,代码精简了很多,第二个地方,不便于统一管理和监控,第三点就是每次都要创建和销毁,会消耗cpu资源。

线程池、数据库连接池等等各种池化的技术,其实从本质上来讲,都是很相似的,通过空间换取时间,开箱即用,执行完成后线程对象归池,为了复用资源,避免资源频繁的建立和销毁。

线程池的处理流程,直观的看一下:


提交任务.png

下面是总结的线程池里面一些比较核心的参数:


线程池.png

其中讲一下corePoolSize这个参数,corePoolSize表示线程池中的核心线程数,核心线程默认是在有任务提交过来的时候才创建的,当有任务提交时,线程池会创建一个新线程去执行任务,直到当前线程数等于corePoolSize大小;当线程数为corePoolSize的时候,后面的任务将丢到阻塞队列去;如果执行了线程池的prestartAllCoreThreads()方法,线程池会提前创建并启动所有核心线程。

在线程的参数调优中,如果是CPU密集型任务,就需要尽量压榨CPU,参考值可以设为 NCPU+1,如果是IO密集型任务,参考值可以设置为2*NCPU。但是小白会问怎样的是cpu密集型,啥又是io密集型呢?一般来说,前端频繁的发请求调用后端,后台去查数据库或者缓存,然后返回前端,这种就是就是典型的io密集型,高度依赖IO和网络环境,此时CPU Loading并不高。还有一种叫cpu密集型,依赖cpu去做计算、逻辑判断等等,此时IO不高。具体的参数最终都要真实场景去做灵活的调整,一般我们的项目上线之前,都会有各种测试,甚至pt环境压力测试。

另一个重要的参数keepAliveTime:keepAliveTime这个其实只有在线程大于核心线程数的时候才会有起作用,当这部分的线程空闲时间达到设定keepAliveTime的时间后会终止直达会退到核心线程数的大小。但是如果调用了allowCoreThreadTimeOut(boolean)方法,在线程池中的线程数不大于corePoolSize时,keepAliveTime参数也会起作用,直到线程池中的线程数为0;但是对于线上一直会有请求进来的业务场景,比如电商项目,一般就不会这么做了,会有核心线程一直常驻在那。

饱和策略:
实际具体选用那种处理策略,要结合自己的业务来挑选,看业务层面是否允许丢弃任务,一般对于重要的消息,我们可以记录日志甚至要做持久化的。线程池默认的策略是AbortPolicy,这个时候会丢弃任务,并且会抛出RejectedExecutionException异常

线程池状态:(就不解释了)
volatile int runState;
static final int RUNNING = 0;
static final int SHUTDOWN = 1;
static final int STOP = 2;
static final int TERMINATED = 3;

关于任务的提交,建议用submit

避雷:在线程池中使用ThreadLocal的时候要千万注意,用完了记得remove,防止内存泄漏

我改造的一个单列模式的线程池Demo以供参考:

import java.util.concurrent.*;
import java.util.concurrent.atomic.AtomicInteger;

public class ThreadPools {
    private ExecutorService scheduledPool;
private static final int CPU_COUNT = Runtime.getRuntime().availableProcessors();
    private static final int CORE_POOL_SIZE=Math.max(2, Math.min(CPU_COUNT - 1, 4));
    private static final int MAX_POOL_SIZE =CPU_COUNT <<1 + 1;//左移提高速度
    private static final int KEEP_ALIVE_TIME =30;
  private ThreadPools() {
        scheduledPool = new ThreadPoolExecutor(CORE_POOL_SIZE, MAX_POOL_SIZE, KEEP_ALIVE_TIME, TimeUnit.SECONDS, new ArrayBlockingQueue<Runnable>(100), new NamedThreadFactory("scheduled Pool"));

    }

    public static ThreadPools getInstance() {
        return ThreadPoolManagerHolder.instance;
    }
    private static class ThreadPoolManagerHolder {
        public static ThreadPools instance = new ThreadPools();
    }
    private static class NamedThreadFactory implements ThreadFactory {
        private static final AtomicInteger poolNumber = new AtomicInteger(1);
        private final ThreadGroup group;
        private final AtomicInteger threadNumber = new AtomicInteger(1);
        private final String namePrefix;
        public NamedThreadFactory(String name) {
            SecurityManager s = System.getSecurityManager();
            group = (s != null) ? s.getThreadGroup() : Thread.currentThread().getThreadGroup();
            namePrefix = "pool-" + poolNumber.getAndIncrement() + "-" + name + "-thread-";
        }

        @Override
        public Thread newThread(Runnable r) {
            Thread t = new Thread(group, r, namePrefix + threadNumber.getAndIncrement(), 0);
            if (t.isDaemon()) {
                t.setDaemon(false);
            }
            if (t.getPriority() != Thread.NORM_PRIORITY) {
                t.setPriority(Thread.NORM_PRIORITY);
            }
            return t;
        }

    }
    public void executeScheduledTask(Runnable task) {
        try {
            scheduledPool.submit(task);
        } catch (RejectedExecutionException e) {
            LogUtils.ERROR.debug("executeScheduledTask task submit failed");
        }
    }
    public void shutThreadPooldown() {
        scheduledPool.shutdown();
    }
}
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,377评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,390评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,967评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,344评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,441评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,492评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,497评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,274评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,732评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,008评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,184评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,837评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,520评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,156评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,407评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,056评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,074评论 2 352

推荐阅读更多精彩内容