解决: 'DeepSpeedCPUAdam' object has no attribute 'ds_opt_adam'

deepspeed运行大模型时报错:

```python

Exception ignored in: <function DeepSpeedCPUAdam.__del__ at 0x7f4892b5a020>

Traceback (most recent call last):

  File "/home/conda/envs/dsp/lib/python3.10/site-packages/deepspeed/ops/adam/cpu_adam.py", line 102, in __del__

    self.ds_opt_adam.destroy_adam(self.opt_id)

AttributeError: 'DeepSpeedCPUAdam' object has no attribute 'ds_opt_adam'

Exception ignored in: <function DeepSpeedCPUAdam.__del__ at 0x7f7692a2e020>

Traceback (most recent call last):

  File "/home/conda/envs/dsp/lib/python3.10/site-packages/deepspeed/ops/adam/cpu_adam.py", line 102, in __del__

    self.ds_opt_adam.destroy_adam(self.opt_id)

AttributeError: 'DeepSpeedCPUAdam' object has no attribute 'ds_opt_adam'

```

解决路径:

1. 在命令行输入

python -c 'import deepspeed; deepspeed.ops.adam.cpu_adam.CPUAdamBuilder().load()'

进行错误复现,查看是否会报错,如果是torch和cuda版本不匹配,会报错:

deepspeed.ops.op_builder.CUDAMismatchException: xxxx

2. 解决方案(两种)

    a. 在执行代码前加:DS_SKIP_CUDA_CHCK=1

    b. 直接进去错误源码中,改为不校验torch,cuda版本匹配问题

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容