分析线程问题时常用的命令
jps jstack [pid] jconsole
java并发包 JUC
原子性:locks、aotmic
可见性、有序性:volatile
image.png
并发模拟
image.png
public class ConcurrencyTest {
// 请求总数
public static int clientTotal = 5000;
// 同时并发执行的线程数
public static int threadTotal = 200;
public static int count = 0;
public static void main(String[] args) throws Exception {
ExecutorService executorService = Executors.newCachedThreadPool();
final Semaphore semaphore = new Semaphore(threadTotal);
final CountDownLatch countDownLatch = new CountDownLatch(clientTotal);
for (int i = 0; i < clientTotal ; i++) {
executorService.execute(() -> {
try {
semaphore.acquire();
add();
semaphore.release();
} catch (Exception e) {
log.error("exception", e);
}
countDownLatch.countDown();
});
}
//所有的线程都已执行完,countDownLatch.countDown()减为0
countDownLatch.await();
executorService.shutdown();
log.info("count:{}", count);
}
private static void add() {
count++;
}
}
一、并发基础
image.png
image.png
1、并发历史:
- 早期计算机:从头到尾执行一个程序,资源浪费
- 操作系统出现:计算机能运行多个程序,不同的程序在不同的单独的进程中运行。一个进程,有多个线程。提高资源的利用率,公平
2、jvm与并发
2.1、内存模型
2.1.1、硬件内存模型
处理器>>>高速缓存>>>缓存一致性协议>>>主存
image.png
一级到多级缓存
image.png
2.1.2、java内存模型
线程<<<>>>工作内存<<<>>>save和load<<<>>>主存
image.png
image.png
image.png
java内存间的交互操作
(1)lock(锁定):作用于主内存的变量,把一个变量标记为一条线程独占状态
(2)unlock(解锁):作用于主内存的变量,把一个处于锁定状态的变量释放出来,释放后的变量才可以被其他线程锁定
(3)read(读取):作用于主内存的变量,把一个变量值从主内存传输到线程的工作内存中,以便随后的load动作使用
(4)load(载入):作用于工作内存的变量,它把read操作从主内存中得到的变量值放入工作内存的变量副本中
(5)use(使用):作用于工作内存的变量,把工作内存中的一个变量值传递给执行引擎
(6)assign(赋值):作用于工作内存的变量,它把一个从执行引擎接收到的值赋给工作内存的变量
(7)store(存储):作用于工作内存的变量,把工作内存中的一个变量的值传送到主内存中,以便随后的write的操作
(8)write(写入):作用于主内存的变量,它把store操作从工作内存中的一个变量的值传送到主内存的变量中
上面8个操作必须满足以下规则
1、不允许read和load、store和write操作之一单独出现,即不允许一个变量从主内存读取了但工作内存不接受,或者从工作内存发起回写了但主内存不接受的情况出现。
2、不允许一个线程丢弃它的最近的assign操作,即变量在工作内存中改变了之后必须把该变化同步回主内存。
3、不允许一个线程无原因地(没有发生过任何assign操作)把数据从线程的工作内存同步回主内存。
4、一个新的变量只能在主内存中“诞生”,不允许在工作内存中直接使用一个未被初始化(load或assign)的变量,换句话说,就是对一个变量实施use、store操作之前,必须先执行过了assign和load操作。
5、一个变量在同一时刻只允许一条线程对其进行lock操作,但lock操作可以被同一条线程重复执行多次,多次执行lock后,只有执行相同次数的unlock操作,变量才会被解锁。
6、如果对一个变量执行lock操作,那将会清空工作内存中此变量的值,在执行引擎使用这个变量前,需要重新执行load或assign操作初始化变量的值。
7、如果一个变量事先没有被lock操作锁定,那就不允许对它执行unlock操作,也不允许去unlock一个被其他线程锁定住的变量。
8、对一个变量执行unlock操作之前,必须先把此变量同步回主内存中(执行store、write操作)。
2.2、指令重排序(乱序优化)
2.2.1、什么是指令重排序?
重排序是指编译器和处理器为了优化程序性能而对指令序列进行重新排序的一种手段。
2.2.2、数据依赖性
编译器和处理器在重排序时,会遵守数据依赖性,编译器和处理器不会改变存在数据依赖关系的两个操作的执行顺序。(仅针对单个处理器中执行的指令序列和单个线程中执行的操作,不同处理器之间和不同线程之间的数据依赖性不被编译器和处理器考虑。)
操作访问同一个变量,其两个操作中有至少一个写操作,此时就存在依赖性
2.2.3、as-if-serial原则
不管怎么重排序(编译器和处理器为了提高并行度),(单线程)程序的执行结果不能被改变。
image.png
3、先行发生原则(happens-before)
判断数据是有有竞争、线程是否安全的主要依据
- 程序次序规则:同一个线程内,按照代码出现的顺序,前面的代码先行于后面的代码,准确的说是控制流顺序,因为要考虑到分支和循环结构。
- 管程锁定规则:一个unlock操作先行发生于后面(时间上)对同一个锁的lock操作。
- volatile变量规则:对一个volatile变量的写操作先行发生于后面(时间上)对这个变量的读操作。
- 线程启动规则:Thread的start( )方法先行发生于这个线程的每一个操作。
- 线程终止规则:线程的所有操作都先行于此线程的终止检测。可以通过Thread.join( )方法结束、Thread.isAlive( )的返回值等手段检测线程的终止。
- 线程中断规则:对线程interrupt( )方法的调用先行发生于被中断线程的代码检测到中断事件的发生,可以通过Thread.interrupt( )方法检测线程是否中断
- 对象终结规则:一个对象的初始化完成先行于发生它的finalize()方法的开始。
- 传递性:如果操作A先行于操作B,操作B先行于操作C,那么操作A先行于操作C。
为什么要有该原则?
无论jvm或者cpu,都希望程序运行的更快。如果两个操作不在上面罗列出来的规则里面,那么就可以对他们进行任意的重排序。
时间先后顺序与先行发生的顺序之间基本没有太大的关系。
4、什么时候适合使用并发编程
- 任务会阻塞线程,导致之后的代码不能执行:比如一边从文件中读取,一边进行大量计算的情况
- 任务执行时间过长,可以划分为分工明确的子任务:比如分段下载
- 任务间断性执行:日志打印
- 任务本身需要协作执行:比如生产者消费者问题
5、并发编程的优势与风险
image.png
5.1、频繁的上下文切换
cpu为线程分配时间片,时间片非常短(毫秒级别),cpu不停的切换线程执行,在切换前会保存上一个任务的状态,以便下次切换回这个任务时,可以再加载这个任务的状态,让我们感觉是多个程序同时运行的。上下文的频繁切换,会带来一定的性能开销。
如何减少上下文切换的开销
-
无锁并发编程
无锁并发编程。多线程竞争锁时,会引起上下文切换,所以多线程处理数据时,可以用一些办法来避免使用锁,如将数据的ID按照Hash算法取模分段,不同的线程处理不同段的数据 -
CAS
Java的Atomic包使用CAS算法来更新数据,而不需要加锁。 -
使用最少线程
避免创建不需要的线程,比如任务很少,但是创建了很多线程来处理,这样会造成大量线程都处于等待状态。 -
协程
在单线程里实现多任务的调度,并在单线程里维持多个任务间的切换。--GO
5.2、资源限制
-
硬件资源
服务器: 1m
本机:2m
带宽的上传/下载速度、硬盘读写速度和CPU的处理速度。 -
软件资源
数据库连接 500个连接 1000个线程查询 并不会因此而加快
socket