本地Hugging Face 模型导出为 ONNX 安装依赖 optimum-cli ONNX模型加载验证
发简信
IP属地：广东
-
Linux搭建NFS记录
环境信息 一台Cent OS（release 7.8.2003），一台Ubuntu（22.04.5 LTS） 服务端配置 1. 安装 NFS 服务包 CentOS Ubunt...
-
weaviate使用笔记
参考链接 https://docs.weaviate.io/[https://docs.weaviate.io/] https://github.com/weaviate[h...
-
扣子平台开发笔记-- 插件开发0. 官方文档 智能体插件[https://www.coze.cn/open/docs/guides/agent_plugin]插件介绍[https://www.coze.c...
-
java进程性能分析工具--在线篇
0. 概述 主要记录Arthas，async-profiler两个工具的基本信息 1. Arthas 官网https://arthas.aliyun.com/doc/[htt...
-
java服务jvm metric采集之jmx_prometheus_javaagent
简述 记录java服务运行时jvm的metric信息采集操作，本文使用的方案是通过jmx_prometheus采集服务数据。 相关依赖 jmx_exportergit : h...
-
Hadoop之Tez-UITEZ UI部署 参考官方Tez UI[https://tez.apache.org/tez-ui.html]部署文档；修改集群相关配置，并在tomcat容器下运行Tez U...
-
知识库RAG应用-Dify&RagFlow文档处理整理Dify 默认只解析文档中的文本，对于表格、图表类不做处理 文档加载流程a.) 入口 api\core\indexing_runner.pyb.) 路由 api\core\...
-
知识库RAG应用--文档转换（Docs转PDF）
Docs转PDF 在构建知识库应用时，发现在文档解析步骤，PDF解析（使用pdfplumber）的效果（在处理表格方面）要强于Docs文档（使用unstructured）；分...
-
-
大语言模型压测工具探索 -- EvalScope
EvalScope[https://evalscope.readthedocs.io/zh-cn/latest/index.html] 安装 验证 基本使用 简单测评模型 模...
-
推理引擎vLLM使用笔记 -- 0x0101 背景 在火山云下，运行DS-70B模型；官方推荐的推荐引擎是vLLM，相关环境按火山文档逐步安装GPU-部署DeepSeek-R1-Distill模型[https://...
-
知识库RAG应用技术点整理--文档加载
知识库RAG应用技术点 -- 知识处理 文档解析 关于知识库应用，第一步的操作都是需要加载解析相关文档（doc，PFD，PPT等），再此基础上才有后续的的分块、向量化等操作；...
-
uv + vLLM使用笔记 -- 0x01
uv安装 查看可用python版本 查找已安装python版本 配置相关镜像及参数 安装指定版本python 创建项目并指定python版本 创建并激活环境 添加依赖(可指定...
-
Xinference使用笔记 -- 0x01参考链接 https://inference.readthedocs.io/[https://inference.readthedocs.io/] 基本环境搭建 安装初始化p...
-
@啊啊啊11 量化后的模型文件为何要再转回去咧？GGUF的量化结构Safetensors应该不支持……如果有解决方案记得分享下哈
模型文件(gguf,safetensors)转换笔记
1. gguf 转 safetensors 以ollama下运行的模型为例a.) 查看模型路径ollama show 模型名称 --modelfile返回的 FROM xx...
-
dify本地源码启动实操&填坑0. dify本地源码启动参考地址： https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/loc...
-
模型文件(gguf,safetensors)转换笔记
1. gguf 转 safetensors 以ollama下运行的模型为例a.) 查看模型路径ollama show 模型名称 --modelfile返回的 FROM xx...