GPT-5.5发布一个月了，Terminal-Bench 2.0得分82.7%，Agent能力较前代有显著提升。很多企业想用大模型做内部知识库问答，但"想做"和"做出来能用"之间差了不止一个量级。上个月帮一家200人的SaaS公司从零搭了一套系统，三周上线，踩了不少坑。库拉KULAAI（c.877ai.cn）作为AI模型聚合平台，支持接口调用GPT-5.5、Gemini 3.1 Pro、Claude、DeepSeek等多个主流大模型，项目的模型对比选型就是在上面完成的。下面把完整过程记录下来。
需求梳理：不是所有问题都需要AI回答
上来的第一件事不是写代码，而是和业务部门聊了两天。把公司内部的高频问题分成了三类。
事实查询类——"请假流程是什么""报销需要哪些材料"。这类问题答案固定，FAQ文档里都有，但没人记得住。占比约60%。
技术查询类——"这个接口的参数格式是什么""部署流程第三步怎么操作"。答案在技术文档里，但文档太长没人愿意翻。占比约30%。
分析推理类——"上个季度客户投诉最多的问题是什么原因""这个方案和那个方案的优劣对比"。需要综合多份文档做分析。占比约10%。
这三类问题的处理难度递增，对模型能力的要求也递增。后面会讲到这个分类怎么影响模型选型和成本控制。
技术选型：三种方案的取舍
对比了三种方案。
纯大模型方案——把知识库全部塞进上下文让模型直接回答。Gemini 3.1 Pro的1M Token上下文窗口理论上支持。但成本太高——每次查询都消耗全部上下文的token费用。而且存在"中间信息衰减"问题。
纯检索方案——用搜索引擎检索文档片段直接返回给用户。成本低但体验差——用户需要自己从检索结果中找答案。
RAG方案——先检索相关文档片段，再把检索结果拼接到Prompt中让模型生成回答。兼顾准确性和用户体验。最终选了这个方案。
模型选型阶段在聚合平台上对比了GPT-5.5、Gemini 3.1 Pro和Claude。GPT-5.5在回答的结构化和准确性上表现稳定。Gemini 3.1 Pro成本更低但输出波动性稍大。Claude在安全性上更严格但成本较高。最终决定用GPT-5.5做生成层，简单问答场景用Gemini 3.1 Pro做降级方案。
知识库构建：40%的时间花在这里
知识库构建是整个项目中最耗时间的环节。数据源包括产品文档约200页、技术规范约150页、内部FAQ约300条、操作手册约100页。总规模约300K到500K tokens。
文档格式各异——PDF、Word、Markdown、Confluence导出的HTML。第一步统一转成纯文本。PDF转文本最容易出问题——扫描件需要OCR，表格和图表信息在转换中大量丢失。
切片策略是核心。太小的切片丢失上下文，太大的切片稀释相关性。最终用了递归字符分割器，chunk_size设为600字符，overlap设为150字符。切片边界在段落的自然断点处，不要在句子中间截断。
FAQ按问答对为单位切片，不拆散问题和答案。技术文档按章节为单位切片，保留章节标题作为元数据。元数据在后续检索过滤中很有用——产品问题只检索产品文档，不检索会议纪要。
向量化用text-embedding-3-small模型，1536维向量。向量数据库用了Milvus，支持大规模数据和高并发查询。
检索策略：混合检索才是正解
单一的向量检索不够用。用户查询中经常包含精确的术语、编号、版本号——这些关键词在语义向量空间中可能匹配到不相关的内容。
最终用了混合检索——向量检索（语义相似度）和关键词检索（BM25）同时执行，取并集后按权重融合。向量检索权重0.6，关键词检索权重0.4。
初期Top-5的检索准确率只有约65%。通过优化切片策略、调整混合检索权重、加入重排序后提升到了85%。重排序用cross-encoder模型对Top-10候选重新打分，取Top-5送入模型生成回答。
这个85%的准确率意味着每100次查询中有15次检索到的文档片段不完全相关。这15%的误差需要靠Prompt设计来兜底。
Prompt设计：防幻觉是第一优先级
企业级场景对准确性的要求远高于C端。员工按照AI的回答操作如果出错，影响的是业务流程。
Prompt模板的核心规则四条。第一，只基于检索到的参考资料回答，不使用通用知识。第二，如果资料中没有相关信息，明确回答"知识库中未找到相关信息，建议联系XXX"。第三，回答末尾标注信息来源。第四，涉及数据、日期、版本号时必须精确引用。
GPT-5.5对这几条规则的遵循度不错，但偶尔会"越界"——用自己的通用知识补充检索结果中没有的内容。加了一句"如果通用知识和参考资料有冲突，以参考资料为准"后幻觉率明显下降。
回答太长是另一个问题。员工问"请假流程是什么"时只想看三步操作，不想看长篇大论。Prompt中加了"回答控制在200字以内"后改善明显。
reasoning_effort分层：成本控制的关键
GPT-5.5的reasoning_effort参数在这个项目中发挥了很大作用。
事实查询类（60%）用low模式——响应快、token消耗低。"请假流程是什么"这类问题不需要深度推理，检索到相关文档后直接组织语言就行。
技术查询类（30%）用medium模式——需要理解技术术语并准确引用参数格式。比low模式多花一点推理时间，但回答准确性明显提升。
分析推理类（10%）用high模式——需要综合多份文档做对比分析。推理深度最大，token消耗也最多。
这个分配策略让总体成本比全部用high模式降低了60%以上。意图识别用GPT-5.5自身做，reasoning_effort设为low——分类任务不需要深度推理。
成本实测
日均约800次查询，每次平均消耗约1200输入token和500输出token。按GPT-5.5的定价，日均成本约21.6美元，月成本约648美元。
多模型路由优化后——简单查询用Gemini 3.1 Pro，复杂分析用GPT-5.5——月成本降到了约400美元。200人的公司人均2美元，比请一个专职文档管理员的成本低得多。
对比全部用Claude Opus的方案，月成本约2400美元。对比全部用Gemini的方案，月成本约216美元。最终的多模型方案在成本和质量之间找到了平衡。
踩坑总结
文档质量是第一个坑。垃圾进垃圾出——原始文档有过时信息，RAG系统会忠实地检索出来。上线前必须做一轮人工审核。
检索精度是第二个坑。初期65%的准确率不够用，通过混合检索加重排序提升到85%。
对话历史膨胀是第三个坑。多轮追问时上下文快速增长。解决方案是只保留最近5轮完整历史，更早的对话做摘要压缩。
幻觉是第四个坑。GPT-5.5偶尔会用通用知识补充检索结果中没有的内容。Prompt中加"以参考资料为准"的约束后改善明显。
趋势判断
GPT-5.5加RAG是目前企业知识库问答的主流方案。但做成一个能用的系统，文档处理、检索策略、Prompt工程、成本控制每个环节都需要认真对待。建议先在聚合平台上验证核心流程，再根据实际数据调整方案。多模型路由是成熟的成本优化策略——简单查询用低成本模型，复杂分析用GPT-5.5，整体成本可以再降40%以上。
