看到这篇文章的各位想必对 Hugging Face 都有所耳闻了。作为 AI 时代的开源重要阵地,我们可以在这里找到特别多的一手开源模型,直接部署到本机进行调试。
但是究竟怎么开始,尤其是对于非常多没有接触过 AI 模型的同学来说,从直接使用现成的 ChatGPT 到部署一个本地 AI 模型将是一个非常大的跨度,很多人直接就望而却步了,也很多人卡在实现第一个本地部署模型上,这里面的原因包括但不限于代码部署、下载模型失败等等。
笔者也经历过这个阶段,我一直坚信的一句话是,从0到1的突破更多是克服恐惧,从1到100更多是持续的坚持。所以今天我将会从自己的经验出发,介绍如何从零开始在本地部署一个 Hugging Face 开源模型,并使用它。
寻找你想要的模型
首先,你要想清楚自己的目标,比如我这里的目标是想要看一下别人的AI生成文本的检测模型。那么我们就进入 Hugging Face 的官网。
我们选择其中一个进入模型的介绍页面,比如我这里选择了 yongchao/ai_text_detector
在这个模型下面会有一些介绍,比如训练的基础模型是 BERT,训练的轮次,数据等等。
红框标记的地方可以复制后续我们要下载模型所用的参数。
生成你的 Token
通过 Python 代码下载模型时,Hugging Face 需要校验你的 Token 信息。我们进入设置页面生成一个只允许下载公共仓库的 Token 即可。
完成上面的步骤后,第三个页面的底部有个完成按钮,点击后,你会生成一个 Token,记得保存到本地,后续需要用到这个 Token 用以下载模型。
下载必要的包和修改下载源
以笔者这个模型为例,需要用到的包有以下几个
transformers==4.35.0
huggingface-hub==0.17.3
torch==2.1.0+cu118
torch
这个我使用了 CUDA 11.8 版本,如果你没有 CUDA 显卡的话,只需要安装前面的 2.1.0 即可。
这几个包直接下载的话,可能会碰到网络不通的情况,可以尝试使用国内的源进行下载
pip install transformers==4.35.0 -i https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
配置国内源有好几种办法,可以自己搜索或者使用大模型查询。
同样的,huggingface-hub
的默认源也是海外的,一样可以使用国内镜像源来替换,这样可以防止后续下载速度过慢,甚至直接报无法连接的错误。
与 Python 包的下载不一样,这里要通过配置环境变量的方式去修改。
vim ~/.bashrc
export HF_ENDPOINT=https://hf-mirror.com
:wq
source ~/.bashrc
Mac 或 Linux 的读者可以使用上面的命令,修改配置文件后生效使用。
Windows 的用户可以在环境配置里生成新的环境变量。
代码
这部分其实也是没入门觉得难,入门了觉得很简单,废话不多说,直接上代码。
from transformers import AutoModelForSequenceClassification, AutoTokenizer
from huggingface_hub.hf_api import HfFolder
text = 'The sunlight streamed through the tall windows, casting a warm glow on the polished wooden table where I sat'
HfFolder.save_token('刚刚你生成的Token复制到这里')
model = AutoModelForSequenceClassification.from_pretrained("yongchao/ai_text_detector", use_auth_token=True)
tokenizer = AutoTokenizer.from_pretrained("yongchao/ai_text_detector", use_auth_token=True)
inputs = tokenizer(sentence, return_tensors="pt")
outputs = model(**inputs)
print(outputs)
运行这个脚本,首先会去检测模型是否已经下载好了,如果没有,就会去刚刚修改的镜像HF网站下载该模型。下载好之后就会执行代码,并得到结果。
# 模型执行结果
SequenceClassifierOutput(loss=None, logits=tensor([[ 0.7496, -0.8134]], grad_fn=<AddmmBackward0>), hidden_states=None, attentions=None)
很好,模型执行成功了~但是结果怎么看呢?
像上面的模型结果中 logits=tensor([[ 0.7496, -0.8134]]
只有两个结果,不难猜测应该一个是 AI 结果的分数,一个是人类结果的分数。但是究竟哪个是呢?并且这个结果很可能不止2个,会有4/5/6 甚至几十个。
这里我们就要回到 Hugging Face 了。
找到上面搜到的模型的页面,切换到 File and versions,然后点击 config.json 文件,里面藏了一个标签信息。
参照这个config.json中的信息,可以确认 0.7496 是 AI 的分数,而 -0.8134 就是人类的分数,最终结果是这句话被判断为是 AI 生成的。
总结
0到1的突破,是面对恐惧的突破。
根据上面的步骤操作,相信应该可以很顺利的跑起来一个 AI 模型。
有其他更多问题,欢迎关注、评论。