区别：
DeepSpeed 是由 Microsoft 开发的一个深度学习优化库，旨在提高大规模模型训练的效率。它提供了多种优化技术，包括混合精度训练、分布式训练、数据并行、模型并行和高效的梯度累积等。
主要特点：
分布式训练: 支持数据并行、模型并行（包括管道并行和张量并行），使得训练超大规模模型成为可能。
优化技术: 提供优化算法，如 ZeRO（Zero Redundancy Optimizer）以减少显存占用、加速训练速度。
混合精度训练: 自动支持 FP16 和 BFLOAT16 精度训练，以减少计算开销和内存占用。
高效的梯度累积: 提供高效的梯度累积方法来处理超大批量训练。
弹性训练: 支持弹性训练，允许动态添加或移除计算资源。
功能非常的强大、丰富，但是配置起来比较复杂，需要一定的深度学习知识。
Accelerate 是由 Hugging Face 开发的一个库，旨在简化分布式训练的设置。它提供了一种简洁的方式来配置和管理多 GPU 和 TPU 环境，支持数据并行和模型并行。
主要特点
简化配置: 提供统一的接口来处理多 GPU 和 TPU 环境的配置，简化了分布式训练的复杂性。
支持多种后端: 可以与不同的深度学习后端（如 PyTorch 和 TensorFlow）集成。
集成 DeepSpeed: 可以与 DeepSpeed 集成，利用 DeepSpeed 的高级功能进行训练。
简化分布式训练: 自动处理分布式训练的设置和同步问题，使用户能够专注于模型和数据
联系
集成能力: Accelerate 可以与 DeepSpeed 集成，利用 DeepSpeed 的高级功能来优化训练。通过 Accelerate 的 DeepSpeedPlugin，可以在 Accelerate 的框架下使用 DeepSpeed 进行训练。
共同目标: 两者都旨在提高大规模模型训练的效率和简化配置，但 DeepSpeed 提供了更多的优化功能，而 Accelerate 注重于简化配置和多后端支持。
交互式配置：
accelerate config
yaml配置：
python -c "from accelerate.utils import write_basic_config; write_basic_config(mixed_precision='fp16')"
配置好之后运行：
accelerate test
Zero1、Zero2、Zero3
