如果你是技术控,或者正在寻找更好的解决方案,这篇教程绝对不能错过!
一、Ollama搭建全攻略
1. 安装Ollama
一键安装超简单,Windows、MacOS、Linux通通搞定!
Windows/MacOS:下载安装包,双击安装。
Linux:执行命令
curl -fsSL https://ollama.com/install.sh | sh。
安装完后,输入 ollama -v 检查是否成功。
2. GPU加速
有NVIDIA显卡?记得确认显存大于6GB哦!
在日志中查看确认,Windows右键Ollama图标选“查看日志”,Linux用
journalctl -u ollama -f。
3. 查看日志
Windows:右键Ollama图标选“查看日志”。
Linux:用
journalctl -u ollama -f查看最新日志。
4. 本地对话
支持多种中文LLM模型,如llama2-chinese和qwen。
拉取模型:
ollama pull qwen运行模型:
ollama run qwen
5. 暴露接口服务
为了Dify能访问Ollama服务,需要做些配置。
Windows:设置环境变量
OLLAMA_HOST=0.0.0.0。Linux:编辑
/etc/systemd/system/ollama.service文件,添加Environment="OLLAMA_HOST=0.0.0.0"。
6. 确认可用性
在浏览器中访问 http://IP:11434,确认服务正常运行。
7. 拉取嵌入模型
拉取合适的文字嵌入模型,如 dmeta-embedding-zh。
命令:
ollama pull shaw/dmeta-embedding-zh
二、Dify搭建全攻略
使用 docker-compose 启动Dify,启动后在设备的80端口上可访问。
快速上手,让你的AI工具飞起来!快来试试吧!
本文使用 文章同步助手 同步