1.线程池相比普通线程的优势
1、 降低资源的消耗。降低线程创建和销毁的资源消耗;
2、 提高响应速度:线程的创建时间为T1,执行时间T2,销毁时间T3,免去T1和T3的时间
3、 提高线程的可管理性。
2.自己实现一个简单的线程池
需要创建并保持多个线程
需要一个阻塞队列保存来不及运行的任务
线程池实现参考
核心类MyThreadPool2.java该线程池的缺点:
1)线程数是固定的
2)当阻塞队列装满时,没有处理机制
3.JDK线程池
public void execute(Runnable command) {
if (command == null)
throw new NullPointerException();
/*
* Proceed in 3 steps:
*
* 1. If fewer than corePoolSize threads are running, try to
* start a new thread with the given command as its first
* task. The call to addWorker atomically checks runState and
* workerCount, and so prevents false alarms that would add
* threads when it shouldn't, by returning false.
*
* 2. If a task can be successfully queued, then we still need
* to double-check whether we should have added a thread
* (because existing ones died since last checking) or that
* the pool shut down since entry into this method. So we
* recheck state and if necessary roll back the enqueuing if
* stopped, or start a new thread if there are none.
*
* 3. If we cannot queue task, then we try to add a new
* thread. If it fails, we know we are shut down or saturated
* and so reject the task.
*/
int c = ctl.get();
if (workerCountOf(c) < corePoolSize) {
if (addWorker(command, true))
return;
c = ctl.get();
}
if (isRunning(c) && workQueue.offer(command)) {
int recheck = ctl.get();
if (! isRunning(recheck) && remove(command))
reject(command);
else if (workerCountOf(recheck) == 0)
addWorker(null, false);
}
else if (!addWorker(command, false))
reject(command);
}
3.1 线程池的创建
ThreadPoolExecutor,jdk所有线程池实现的父类。
各参数的含义:
- int corePoolSize :线程池中核心线程数,< corePoolSize ,就会创建新线程,= corePoolSize ,这个任务就会保存到BlockingQueue,如果调用prestartAllCoreThreads()方法就会一次性的启动corePoolSize 个数的线程。
- int maximumPoolSize, 允许的最大线程数,BlockingQueue也满了,< maximumPoolSize时候就会再次创建新的线程
- long keepAliveTime, 线程空闲下来后,存活的时间,这个参数只在> corePoolSize才有用
- TimeUnit unit, 存活时间的单位值
- BlockingQueue<Runnable> workQueue, 保存任务的阻塞队列
- ThreadFactory threadFactory, 创建线程的工厂,给新建的线程赋予名字
- RejectedExecutionHandler handler :饱和策略
AbortPolicy :直接抛出异常,默认;
CallerRunsPolicy:用调用者所在的线程来执行任务
DiscardOldestPolicy:丢弃阻塞队列里最老的任务,队列里最靠前的任务
DiscardPolicy :当前任务直接丢弃
实现自己的饱和策略,实现RejectedExecutionHandler接口即可
3.2 提交任务
execute(Runnable command) 不需要返回
Future<T> submit(Callable<T> task) 需要返回
3.3 关闭线程池
shutdown(),shutdownNow();
shutdownNow():设置线程池的状态,还会尝试停止正在运行或者暂停任务的线程
shutdown()设置线程池的状态,只会中断所有没有执行任务的线程
4.合理配置线程池
4.1 线程数的配置
根据任务的性质来:计算密集型(CPU),IO密集型,混合型
- 计算密集型:加密,大数分解,正则……., 线程数适当小一点,最大推荐:机器的Cpu核心数+1
为什么+1,防止页缺失
(机器的Cpu核心=Runtime.getRuntime().availableProcessors();) - IO密集型:读取文件,数据库连接,网络通讯, 线程数适当大一点,机器的Cpu核心数*2
- 混合型:尽量拆分,IO密集型>>计算密集型,拆分意义不大,IO密集型~计算密集型
4.2 队列的选择
队列的选择上,应该使用有界,无界队列可能会导致内存溢出,OOM
5.预定义线程池
示例代码参考UseThreadPool.java
5.1 FixedThreadPool
创建固定线程数量的,适用于负载较重的服务器,使用了无界队列
5.2 SingleThreadExecutor
创建单个线程,需要顺序保证执行任务,不会有多个线程活动,使用了无界队列
5.3 CachedThreadPool
会根据需要来创建新线程的,执行很多短期异步任务的程序,使用了SynchronousQueue
5.4 WorkStealingPool(JDK7以后)
基于ForkJoinPool实现
5.5 ScheduledThreadPoolExecutor
需要定期执行周期任务。
newSingleThreadScheduledExecutor:只包含一个线程,只需要单个线程执行周期任务,保证顺序的执行各个任务
newScheduledThreadPool 可以包含多个线程的,线程执行周期任务,适度控制后台线程数量的时候
方法说明:
schedule:只执行一次,任务还可以延时执行
scheduleAtFixedRate:提交固定时间间隔的任务
scheduleWithFixedDelay:提交固定延时间隔执行的任务
两者的区别:
定时请参考代码ScheduleWorkerTime.java
scheduleAtFixedRate任务超时:
规定60s执行一次,有任务执行了80S,下个任务马上开始执行
第一个任务 时长 80s,第二个任务20s,第三个任务 50s
第一个任务第0秒开始,第80S结束;
第二个任务第80s开始,在第100秒结束;
第三个任务第120s秒开始,170秒结束
第四个任务从180s开始
ScheduledThreadPoolExecutor异常要处理
ScheduleWorker.java
建议在提交给ScheduledThreadPoolExecutor的任务要住catch异常。
6.Executor框架
示例代码参考UseThreadPool.java
7.CompletionService获取线程池中任务的返回结果
代码参考
核心类 自己实现任务结果获取 对比 CompletionService获取任务结果
Callable的call方法能够返回运行的结果;
CompletionService将Executor(线程池)和BlockingQueue(阻塞队列)结合在一起,同一时候使用Callable作为任务的基本单元,整个过程就是生产者不断把Callable任务放入阻塞队列,Executor作为消费者不断把任务取出来运行,并返回结果;
优势:
- a、阻塞队列防止了内存中排队等待的任务过多,造成内存溢出(毕竟一般生产者速度比較快,比方爬虫准备好网址和规则,就去运行了,运行起来(消费者)还是比較慢的)
- b、CompletionService能够实现,哪个任务先运行完毕就返回,而不是按顺序返回,这样能够极大的提升效率;
参考
- 1)享学课堂Mark老师笔记
- 2)Java并发专题 带返回结果的批量任务运行