大模型训练是一个高端事情,需要大量资源才能训练一个底座模型,这种事情太高端了,还是不碰了。但是,大模型底座训练好之后,如何运行起来呢?这个时候可以借助Ollama工具,将大模型运行在本地,而且步骤还很简单。
随便找到一个模型,我这里选择llama2-chinese这个模型,对中文适配比较好,安装Ollama之后运行此命令即可:
ollama run llama2-chinese:7b-chat-q4_0
执行此命令后,你会看到Ollama工具下载模型,而且还会贴心的告诉你进度:
下载模型进度
下载完之后,就可以跟大模型对话:
大模型对话