前言

叠个甲，流水账，非专业，只是蹭一下DeepSeek的热度（

实验环境为家用PC，配备NVidia GeForce RTX 4090D显卡、AMD锐龙9 9950X处理器与48G内存，操作系统为Windows 11专业工作站版。

使用Ollama部署DeepSeek R1

在Ollama官网下载对应操作系统版本的Ollama并安装。

对于Windows系统，Ollama默认安装在C分区且安装程序中不可调，下载的模型也会存储在C分区。可以在安装程序结束后，将Ollama目录剪切到合适的位置（如D:\Ollama），并修改用户环境变量Path中的Ollama目录。另外，新增一个环境变量OLLAMA_MODELS，就可以设定模型的存储路径。

启动Ollama，并在命令提示符或PowerShell中输入以下命令部署DeepSeek R1：

# 加上--verbose参数可以在推理完成后显示调试信息
ollama run deepseek-r1:32b --verbose

第一次运行会下载模型（Qwen 32b蒸馏版约20G大），下载完后即可进行推理。

脑筋急转弯还是太难为它了 = =

可见4090D的24G显存基本占用满了，推理速度约35~40 token/s，比较令人满意。

RAG实验

询问DeepSeek一个比较新的问题（如“StarRocks 3.4.0版本支持哪些向量索引？”），会出现明显的幻觉，以下做个简单的RAG实验。

先通过Ollama拉取Embedding模型：

# 比较通用的nomic-embed-text
ollama pull nomic-embed-text
# 中文特化的dmeta-embedding-zh
ollama pull shaw/dmeta-embedding-zh

基于LangChain编写代码，爬取StarRocks官方文档中的Release Notes并递归分割，使用dmeta-embedding-zh做向量嵌入并存入本地Chroma实例，最后设置Prompt模板、进行检索。

from langchain_community.chat_models import ChatOllama
from langchain_community.document_loaders import WebBaseLoader
from langchain_community.embeddings import OllamaEmbeddings
from langchain_community.vectorstores import Chroma
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_text_splitters import RecursiveCharacterTextSplitter

loader = WebBaseLoader(web_path="https://docs.starrocks.io/zh/releasenotes/release-3.4/")
docs = loader.load()

splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = splitter.split_documents(docs)

vector_store = Chroma.from_documents(
    documents=splits,
    embedding=OllamaEmbeddings(model="shaw/dmeta-embedding-zh")
)
retriever = vector_store.as_retriever()

prompt = ChatPromptTemplate.from_template(
    """Answer the question based only on the following context, without detailed explanation:
    {context}
    Question: {question}
    """
)

model = ChatOllama(model="deepseek-r1:32b")
chain = (
    {"context": retriever, "question": RunnablePassthrough()}
    | prompt
    | model
    | StrOutputParser()
)

print(chain.invoke("StarRocks 3.4.0版本支持哪些向量索引？"))

DeepSeek能够给出靠谱一些的答案（虽然仍不完全正确）：

<think>
好，我现在需要回答关于StarRocks 3.4.0版本支持哪些向量索引的问题。首先，我应该回顾一下用户提供的资料内容。

从第一个文档中提到，存储引擎部分明确指出“支持了数据湖查询场景中的向量索引功能，并且支持两种向量索引：ANN（Approximate Nearest Neighbor）和HNSW（Hierarchical Navigable Small World）。这两种索引能够提升高维数据检索的效率。”因此，我可以确定在3.4版本中确实新增了对这两种向量索引的支持。

接下来，我需要确认这些信息是否正确，并且没有其他文档提到不同的情况。查看其他三个文档后，它们并没有提到关于向量索引的内容，所以可以排除干扰信息。这样，我可以得出结论：StarRocks 3.4.0版本支持ANN和HNSW两种向量索引。

总结一下，通过仔细阅读第一个文档中的存储引擎部分，并确认其他文档中没有与此相关的额外信息，我确定了该版本支持的向量索引类型。
</think>

StarRocks 3.4.0版本支持以下两种向量索引：

1. **ANN（Approximate Nearest Neighbor）**：用于高效地进行近似最近邻搜索，适合处理高维数据检索任务。

2. **HNSW（Hierarchical Navigable Small World）**：一种层次化的图结构，能够快速进行高维空间中的相似性搜索，同时保持较低的内存使用和较高的查询效率。

这两种向量索引功能的引入显著提升了StarRocks在处理高维数据检索任务时的性能和效率。

The End

Good morning.