傻瓜式搭建符合公司业务的本地模型探索之路

在wsl里面部署
我的思路是:
首先是提取数据库 逻辑啥的,
写了个批量提取表,存储过程转sql,让它进行自动学习。

模型太多,我选Ollama
curl -fsSL https://ollama.com/install.sh | sh

网速不好用 容易出错 wget ,wget -qO- https://ollama.com/install.sh | sh

https://github.com/ollama/ollama/blob/main/docs/linux.md
或者

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

之后启动服务

ollama serve

image.png

对应的github如下:

https://github.com/ollama/ollama?tab=readme-ov-file

下载完毕后输入
ollama run llama3.1
实现运行指定模型。

https://zhuanlan.zhihu.com/p/688811216

加速下载

image.png

image.png

最后结果

image.png

方法2 运行模型
此方法方便加速

services:
  ollama:
    image: ollama/ollama:0.3.10
    container_name: ${CONTAINER_NAME}
    restart: unless-stopped
    ports:
      - ${PANEL_APP_PORT_HTTP}:11434
    networks:
      - 1panel-network
    tty: true
    volumes:
      - ./data:/root/.ollama
    labels:
      createdBy: "Apps"
networks:
  1panel-network:
    external: true

在当前文件夹下创建docker-compose.yml

docker-compose up

还有 57% 的精彩内容
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
支付 ¥1.00 继续阅读

相关阅读更多精彩内容

友情链接更多精彩内容