开源大模型微调框架
image.png
32位的全量微调 4字节 7B的模型的话 全量微调的话大概 4x7x5
16位的强化微调 2字节 7B的模型的话 全量微调的话大概 2x7x1.5
qlora的 大概是模型的1.2倍资源
image.png
image.png
deepseed 0.14.5 可用版本
LlamaFactory学习笔记
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
相关阅读更多精彩内容
- 深度学习Topline:https://tvq27xqm30o.feishu.cn/docx/U1fzdqdE0o...
- 学习笔记：选择合适的 AI 模型与硬件 核心挑战：模型 vs. 硬件 其核心关系很简单： 更大、能力更强的模型 通...
- （第二部分：深度学习）第10章 使用Keras搭建人工神经网络[https://www.jianshu.com/p...
- 深度学习的工程化落地，早已不是纸上谈兵的事。从卷积神经网络到Transformer，从目标检测到大模型私有化部署，...
- 第10章 使用Keras搭建人工神经网络[https://www.jianshu.com/p/86626c7981...
