从零开始使用 Hugging Face 的开源模型

看到这篇文章的各位想必对 Hugging Face 都有所耳闻了。作为 AI 时代的开源重要阵地,我们可以在这里找到特别多的一手开源模型,直接部署到本机进行调试。

但是究竟怎么开始,尤其是对于非常多没有接触过 AI 模型的同学来说,从直接使用现成的 ChatGPT 到部署一个本地 AI 模型将是一个非常大的跨度,很多人直接就望而却步了,也很多人卡在实现第一个本地部署模型上,这里面的原因包括但不限于代码部署、下载模型失败等等。

笔者也经历过这个阶段,我一直坚信的一句话是,从0到1的突破更多是克服恐惧,从1到100更多是持续的坚持。所以今天我将会从自己的经验出发,介绍如何从零开始在本地部署一个 Hugging Face 开源模型,并使用它。

寻找你想要的模型

首先,你要想清楚自己的目标,比如我这里的目标是想要看一下别人的AI生成文本的检测模型。那么我们就进入 Hugging Face 的官网。

image.png

我们选择其中一个进入模型的介绍页面,比如我这里选择了 yongchao/ai_text_detector

image.png

在这个模型下面会有一些介绍,比如训练的基础模型是 BERT,训练的轮次,数据等等。

红框标记的地方可以复制后续我们要下载模型所用的参数。

生成你的 Token

通过 Python 代码下载模型时,Hugging Face 需要校验你的 Token 信息。我们进入设置页面生成一个只允许下载公共仓库的 Token 即可。

image.png
image.png
image.png

完成上面的步骤后,第三个页面的底部有个完成按钮,点击后,你会生成一个 Token,记得保存到本地,后续需要用到这个 Token 用以下载模型。

下载必要的包和修改下载源

以笔者这个模型为例,需要用到的包有以下几个

transformers==4.35.0
huggingface-hub==0.17.3
torch==2.1.0+cu118

torch 这个我使用了 CUDA 11.8 版本,如果你没有 CUDA 显卡的话,只需要安装前面的 2.1.0 即可。

这几个包直接下载的话,可能会碰到网络不通的情况,可以尝试使用国内的源进行下载

pip install transformers==4.35.0 -i https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

配置国内源有好几种办法,可以自己搜索或者使用大模型查询。

同样的,huggingface-hub 的默认源也是海外的,一样可以使用国内镜像源来替换,这样可以防止后续下载速度过慢,甚至直接报无法连接的错误。

与 Python 包的下载不一样,这里要通过配置环境变量的方式去修改。

vim ~/.bashrc
export HF_ENDPOINT=https://hf-mirror.com
:wq
source ~/.bashrc

Mac 或 Linux 的读者可以使用上面的命令,修改配置文件后生效使用。

Windows 的用户可以在环境配置里生成新的环境变量。

代码

这部分其实也是没入门觉得难,入门了觉得很简单,废话不多说,直接上代码。

from transformers import AutoModelForSequenceClassification, AutoTokenizer
from huggingface_hub.hf_api import HfFolder

text = 'The sunlight streamed through the tall windows, casting a warm glow on the polished wooden table where I sat'

HfFolder.save_token('刚刚你生成的Token复制到这里')

model = AutoModelForSequenceClassification.from_pretrained("yongchao/ai_text_detector", use_auth_token=True)

tokenizer = AutoTokenizer.from_pretrained("yongchao/ai_text_detector", use_auth_token=True)

inputs = tokenizer(sentence, return_tensors="pt")
outputs = model(**inputs)

print(outputs)

运行这个脚本,首先会去检测模型是否已经下载好了,如果没有,就会去刚刚修改的镜像HF网站下载该模型。下载好之后就会执行代码,并得到结果。

# 模型执行结果
SequenceClassifierOutput(loss=None, logits=tensor([[ 0.7496, -0.8134]], grad_fn=<AddmmBackward0>), hidden_states=None, attentions=None)

很好,模型执行成功了~但是结果怎么看呢?

像上面的模型结果中 logits=tensor([[ 0.7496, -0.8134]] 只有两个结果,不难猜测应该一个是 AI 结果的分数,一个是人类结果的分数。但是究竟哪个是呢?并且这个结果很可能不止2个,会有4/5/6 甚至几十个。

这里我们就要回到 Hugging Face 了。

image.png

找到上面搜到的模型的页面,切换到 File and versions,然后点击 config.json 文件,里面藏了一个标签信息。

image.png

参照这个config.json中的信息,可以确认 0.7496 是 AI 的分数,而 -0.8134 就是人类的分数,最终结果是这句话被判断为是 AI 生成的。

总结

0到1的突破,是面对恐惧的突破。
根据上面的步骤操作,相信应该可以很顺利的跑起来一个 AI 模型。

有其他更多问题,欢迎关注、评论。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,558评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,002评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,036评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,024评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,144评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,255评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,295评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,068评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,478评论 1 305
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,789评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,965评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,649评论 4 336
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,267评论 3 318
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,982评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,223评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,800评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,847评论 2 351

推荐阅读更多精彩内容