你好YY小锦鲤

IP属地：浙江

vllm一行命令部署大模型
1、创建vllm运行python环境执行vllm -v验证安装成功 2、下载需要部署的模型到指定本地路径 huggingface是国外源下载较...

61 0 0
驱动问题记录
如果有残留，卸载旧驱动 sudo apt purge nvidia-*sudo apt autoremove 查看内核版本（重要） uname ...

18 0 0

Scaling Challenges and Reflections on Hardware for AI Architectures
Hardware-Driven Model Design:混合精度训练主要是为了节省内存NVIDIA的 Transformer Engine支持...

46 0 0
anaconda占用空间过大更换目录
由于根目录只有100G，anaconda占用了40G，遂更换目录，保证服务器正常运行在PATH中删除原有路径，并添加新路径 conda env...

88 0 0
大模型RAG实践
1、安装dify和milvus 1.1 github下载最新版本的安装包（git clone考验网络）改端口号重新拉起查看各服务状态访问页面 3...

46 0 0
Failed to initialize NVML: Driver/library version mismatch
reboot（不确定是否需要）apt purge nvidia-*sudo apt autoremoveapt autoclean

47 0 0
linux离线部署deepseek后观测推理对GPU资源的占用
ollama list ollama run deepseek-r1:7b watch -d -n 0.5 nvidia-smi deepsee...

89 0 0

linux修改shell命令行前缀
nano ~/.bashrc如图所示，将'\u@\h:\w$ '修改为'\u:\w$ '，去掉主机名，以达到有时候截图保护隐私的目的执行sou...

110 0 0
linux离线安装ollama
从github下载ollama的release版本，x86服务器下载amd64的版本 https://github.com/ollama/oll...

1555 0 0