20201114-pytorch指定GPU

使用pytorch的并行GPU接口

model= torch.nn.DataParallel(model, device_ids=[0])

指定多卡:
model = torch.nn.DataParallel(model, device_ids=[0,1,2,3])

先看看我的卡:


图片.png

可以看到我有六个,所以:
model = torch.nn.DataParallel(model, device_ids=[0,1,2,3,4,5])
但是我发现有两个竟然没用上,后来发现是batch_size太小,所以调整之后就跑满了:

只要这样一个简单的包裹,Pytorch已经为我们做了很多复杂的工作。我们只需要增大我们训练的batch_size(一般计算为N倍,N为显卡数量),其他代码不需要任何改动,我的是6块卡,所以设成20,就只能用5块,所以得是24

图片.png

这里需要说明的是,device定义中的cuda:0可以不变,无论你多卡的GPU如何选取。device_ids=[0,1,2,3]也相对固定,如果有两张卡就定义device_ids=[0,1],如果有八张卡就定义device_ids=[0,1,2,3,4,5,6,7]。在多卡并行时,会有一个相对的主卡,就是cuda:0所指向的GPU。介绍到主卡就得引入os.environ[“CUDA_VISIBLE_DEVICES”] = “0,1,2,3”,在这里主卡是0卡。如果定义为cuda:1,os.environ[“CUDA_VISIBLE_DEVICES”] = “1,2,3”,这里主卡是2卡。
提示:需要注意的是device_ids中包含的卡数要和os.environ[“CUDA_VISIBLE_DEVICES”]中包含的卡数相等。这里的卡数是指数量,无需具体卡号一一对应,此外,batch_size的数量需要大于GPU的数量。

OK,最核心的部分给大家介绍完了,剩下的工作就是将之前单卡运行时的所有.cuda()替换为.to(device)即可。

需要使用.cuda或者.to(device)的地方。

model(如:model.to(device))

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 1. 改变系统变量使得仅目标显卡可见 export CUDA_VISIBLE_DEVICES=0 #这里是要使用的...
    几时见得清梦阅读 76,551评论 3赞 9
  • 1.张量的简介 张量也可以称为多维矩阵。例如,标量: 为0维张量 向量:为1维张量 矩阵:为2维张量 .........
    baiyang白杨阅读 5,526评论 0赞 1
  • 姓名:毕晓鹏 学号:19021210824 【嵌牛导读】自己平时积累了一些pytorch的训练trick,分享给大...
    鹏_2857阅读 638评论 0赞 0
  • 姓名:毕晓鹏 学号:19021210824 【嵌牛导读】自己平时积累了一些pytorch的训练trick,分享给大...
    鹏_2857阅读 1,650评论 0赞 0
  • 渐变的面目拼图要我怎么拼? 我是疲乏了还是投降了? 不是不允许自己坠落, 我没有滴水不进的保护膜。 就是害怕变得面...
    闷热当乘凉阅读 4,705评论 0赞 13

友情链接更多精彩内容