单节点全部卡：--master_port=25684 --num_gpus=4
单节点部分卡：--include localhost:1,2,3
注意：不能使用CUDA_VISIBLE_DEVICES，无论使用 CUDA_VISIBLE_DEVICES=1,2,3 bash， 或者 CUDA_VISIBLE_DEVICES=1,2,3 deepspeed 都无效
deepspeed指定GPU
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
推荐阅读更多精彩内容
- 使用pytorch的并行GPU接口 model= torch.nn.DataParallel(model, dev...
- （第二部分：深度学习）第10章 使用Keras搭建人工神经网络[https://www.jianshu.com/p...
- 在做实验的过程中，想指定GPU卡来跑，用了好多方法都不生效。比如：import osos.environ["CUD...
