从ModelScope社区下载模型的方法

现今大模型都是百亿和千亿级别的体量,模型文件动辄几十GB,从Hugging Face上下载十分耗时,而且网络不稳定也会导致模型下载失败,而且很多下载方法不支持断点续传,导致费时费力,却一无所获。本篇文章介绍如何在ModelScope社区下载所需的模型,文章内容来自社区文档及个人实践。

若您需要在ModelScope平台上有感兴趣的模型并希望能下载至本地,则ModelScope提供了多种下载模型的方式。
若该模型已集成至ModelScope的Library中,则您只需要几行代码即可加载模型。您可以点击模型卡片中的“快速使用”按钮查看如何使用Library进行模型的下载。前期是需要先安装ModelScope的Library。 只需要知道模型id,以及希望使用的模型版本(默认为master),就可以通过一行代码,完成模型寻找,下载,以及加载的工作:

from modelscope.models import Model
model = Model.from_pretrained('damo/nlp_xlmr_named-entity-recognition_viet-ecommerce-title', revision='v1.0.1')
# revision为可选参数,不指定版本会取模型默认版本,默认版本,默认版本为ModelScope library发布前最后一个版本
# 如何得到发布时间
# import modelscope
# print(modelscope.version.__release_datetime__)
#model = Model.from_pretrained('damo/nlp_structbert_word-segmentation_chinese-base')

使用Library Hub下载模型

您可以使用modelscope modelhub从 repos 创建、删除、更新和检索信息。您还可以从 repos 下载文件或将它们集成到您的库中,并且可指定下载模型的地址。

from modelscope.hub.snapshot_download import snapshot_download

model_dir = snapshot_download('damo/nlp_xlmr_named-entity-recognition_viet-ecommerce-title', cache_dir='path/to/local/dir', revision='v1.0.1')

您也可以使用modelscope modelhub从repos中指定下载单个文件。</p>

from modelscope.hub.file_download import model_file_download

model_dir = model_file_download(model_id='AI-ModelScope/rwkv-4-world',file_path='RWKV-4-World-CHNtuned-7B-v1-20230709-ctx4096.pth',revision='v1.0.0')

默认模型会下载到

~/.cache/modelscope/hub

如果需要修改下载目录,可以手动指定环境变量:MODELSCOPE_CACHE,modelscope会将模型和数据集下载到该环境变量指定的目录中

使用Git下载模型(主要方法)

# 公开模型下载
git lfs install
git clone https://www.modelscope.cn/&lt;namespace&gt;/&lt;model-name&gt;.git
# 例如: git clone https://www.modelscope.cn/damo/ofa_image-caption_coco_large_en.git
# 模型页面:https://modelscope.cn/models/qwen/Qwen-14B/summary
# 对应规则:https://www.modelscope.cn/&lt;namespace&gt;/&lt;model-name&gt;.git
# 示例:git clone https://modelscope.cn/qwen/Qwen-14B.git

# 私有模型下载,前提是您有响应模型权限 方法1
git lfs install
git clone http://oauth2:your_git_token@www.modelscope.cn/&lt;namespace&gt;/&lt;model-name&gt;.git
# 方法2
git clone http://your_user_name@www.modelscope.cn/&lt;namespace&gt;/&lt;model-name&gt;.git
# Password for 'http://your_user_name@modelscope.cn':
# input git token

如何获取git token

用您的账号登录,在个人中心->访问令牌,拷贝git token

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容