大多是GPU显卡温度过高导致自动挂了,重启电脑可以恢复,但是再次使用仍然会报错。一般是显卡核心硅脂干了,散热层老化,换了就好了。
nvidia-smi命令逐个显卡拉满运行程序压力测试排查,观察GPU核心温度,一般正常在60度左右,超过90度一般就会自动挂了。同时也观察Fan风扇是否正常,看是不是风扇散热问题。
nvidia-smi
image.png
参考:深度学习烦人的基础知识(2)---Nvidia-smi功率低,util高---nvidia_smi参数详解_gpu-util-CSDN博客