0x00 整体介绍 基于 triton 部署 qwen ，使用triton镜像中的 vllm 执行推理请求。假设本地工作目录 /home/ubuntu/models, 用于最...
IP属地：江苏
-
基于triton vllm 部署qwen -
基于对话数据集进行微调
0x00 TLDR; 0x01 训练 准备参数文件: my_chat_dataset.jsonl 编写代码： 0x02 验证 看起来，没有达到预期，这里涉及训练参数的配置，以...
-
-
运行gpt2预训练库
0x00 TLDR; 0x01 环境&准备 系统环境 手动下载模型 由于原始模型文件无法直接访问，采用国内镜像方式预先手动下载。 0x02 代码 0x03 监控工具 常用GP...
-
大模型产品开发流程清单
以下是个人开发者的大语言模型 (LLM) 产品的开发流程参考。 1. 准备工作 规划项目目标与核心功能 进行技术调研，确认技术栈大模型向量数据库后端框架前端框架 2. 构建知...
-
常见ai应用使用场景
1.开发者工具 工具名称主要特点适用场景最佳使用时机llama.cpp高性能本地部署LLaMA模型实现• 本地环境部署AI模型 • 高性能推理计算 • 系统集成开发需要在私有...
-
常见ai库名称＆用途
1.深度学习框架类 PyTorch：动态计算图的深度学习框架，特别适合快速原型开发和研究 TensorFlow：静态计算图的工业级深度学习框架，适合大规模部署 JAX：基于N...
-
Comfy-Day-03-迁移
0x00 TLDR; 默认安装在 C盘，但时间长了，需要移出来怎么办？假设使用大容量的 D盘 先把 C:\ComfyUI 整个复制到 D:\ComfyUI 把 C:\Comf...
-
Comfy-Day-020x00 IPAdapter 风格迁移 要点：在模型和采样器之间，增加一个IPAdapter对象，作为入参，会使用一张图片和IPAdapter提取器。 对比，昨天的课程，IP...
-
Comfy-Day-010x00 效果图 1、文生图 2、图生图 3、ControlNet 文生图 4、多个ControlNet 串联 这里展示了连接使用了三个ControlNet 0x01 说明 ...
-
Langchain python 开发入门
在线API文档: https://api.python.langchain.com/en/stable/langchain_api_reference.html[https:...
-
aws eks 删除node group中指定的 node
0x00 TLNR; 0x01 难点 一般情况下，创建 node-group asg 时会指定 最小实例数量，如果直接删除实例，或者手动修改 配置参数的话，都无法满足需求。...
-
Rust 1.85.1 musl 打包镜像制作&发布
0x00 需求 在 mac 和 ubuntu 原生系统下，死活打不出 静态 musl 包。查了一大圈， 还是决定使用 Docker 方式进行编译。 本篇参考 rust 官方 ...