AI Coding 与 AI Agent 专业术语梳理
目录
- 基础概念
- 模型训练与对齐
- AI Coding 范式演进
- AI Coding 工具生态
- AI Agent 核心架构
- Agent 记忆系统
- 工程实践与方法论
- 多智能体系统
- 质量保障与治理
- 评测与基准
- 关键概念速查表
1. 基础概念
LLM(Large Language Model,大语言模型)
是什么:基于 Transformer 架构、在海量文本数据上训练的神经网络模型,参数量通常达数十亿到数万亿。
解决什么问题:让机器理解和生成自然语言,替代过去需要人工编写规则的自然语言处理方式。
有什么用:文本生成、代码生成、翻译、摘要、问答等几乎所有 NLP 任务的基础引擎。
Token(令牌/词元)
是什么:LLM 处理文本的最小单位。一个 token 约等于 0.75 个英文单词或约 1-2 个中文字符。
解决什么问题:将变长的自然语言文本转化为模型可计算的固定维度向量。
有什么用:计费单位(按 token 计费)、模型输入长度限制(context window 以 token 数衡量)。
Context Window(上下文窗口)
是什么:模型单次交互能处理的最大 token 数量,包括输入、输出、工具调用结果、对话历史等所有内容。
解决什么问题:模型"记忆"有限,超出窗口的内容会被截断或遗忘。
有什么用:决定了单次对话能容纳多少代码、文档和历史信息。现代模型窗口从 4K 扩展到 200K-1M tokens。
Embedding(嵌入向量)
是什么:将文本、代码等内容映射为高维空间中的数值向量(如 1536 维),语义相近的内容在向量空间中距离更近。
解决什么问题:让机器能以数学方式计算"语义相似度",而非仅靠关键词匹配。
有什么用:语义搜索、代码检索、RAG 中的文档召回、聚类分析。
Transformer
是什么:2017 年由 Google 提出的神经网络架构,核心创新是 Self-Attention(自注意力)机制,取代了此前的 RNN/LSTM。
解决什么问题:解决了 RNN 无法并行训练、长距离依赖衰减的问题。
有什么用:几乎所有现代 LLM(GPT、Claude、Gemini 等)的底层架构。
2. 模型训练与对齐
Pre-training(预训练)
是什么:在海量无标注文本(数万亿 token)上训练模型预测下一个 token,是最基础、最昂贵的训练阶段。
解决什么问题:让模型学会语言的语法、语义、世界知识和推理模式。
输出产物:Base Model(基座模型)—— 只能做文本补全,还不会"对话"。
SFT(Supervised Fine-Tuning,监督微调)
是什么:用人工编写的"指令-回答"对(通常 1K-100K 条)继续训练基座模型。
解决什么问题:基座模型只会续写文本,SFT 教会它"遵循指令"、"以对话形式回答"。
有什么用:将"补全模型"转化为"助手模型",是 ChatGPT/Claude 等产品可用性的关键一步。
RLHF(Reinforcement Learning from Human Feedback,人类反馈强化学习)
是什么:三阶段流程 —— ①人工标注员比较模型输出并标记偏好,②训练奖励模型(Reward Model)预测人类偏好,③用 PPO 强化学习算法优化 LLM 以最大化奖励。
解决什么问题:SFT 后的模型虽能遵循指令,但可能输出有害、不诚实或无帮助的内容。RLHF 让模型对齐(Align)人类价值观。
有什么用:提升模型的安全性、有用性和诚实性(Helpful, Harmless, Honest 的 "HHH" 原则)。
局限性:奖励攻击(Reward Hacking)、谄媚倾向(Sycophancy)、冗长偏好(Verbosity Bias)。
DPO(Direct Preference Optimization,直接偏好优化)
是什么:2023 年 NeuralPS 提出的 RLHF 替代方案。跳过训练奖励模型,直接用偏好数据对(好的回答 vs 差的回答)通过分类损失函数优化 LLM。
解决什么问题:RLHF 流程复杂(需训练和维护独立的奖励模型、运行 RL 采样循环),DPO 用更简单、更稳定的方式达到类似效果。
有什么用:降低对齐训练的成本和复杂度,避免 RL 不稳定性和奖励攻击。
RLVR(Reinforcement Learning with Verifiable Rewards,可验证奖励的强化学习)
是什么:用可自动验证的结果(测试通过/失败、数学答案对错、代码能否编译)替代人工标注作为奖励信号。
解决什么问题:RLHF 依赖昂贵的人工标注,RLVR 利用编程领域天然存在的"可执行验证"信号实现自动化对齐。
有什么用:在代码生成、数学推理等有明确对错的领域,实现低成本、大规模的对齐训练。
GRPO(Group Relative Policy Optimization,组相对策略优化)
是什么:DeepSeek-R1 使用的训练方法。对同一 prompt 采样多个回答,组内归一化计算优势值(advantage),无需独立的 Critic 模型。
解决什么问题:传统 PPO 需要维护与策略模型同规模的 Critic 模型,内存开销翻倍。GRPO 消除了 Critic。
有什么用:降低 RL 训练的内存和计算开销,尤其适合资源受限场景。
其他现代对齐方法(2025-2026)
| 方法 | 特点 |
|---|---|
| SimPO | 用平均对数概率作隐式奖励,无需参考模型 |
| KTO | 只需点赞/点踩反馈,无需成对比较 |
| ORPO | 将 SFT 和偏好对齐合并为单一训练目标 |
3. AI Coding 范式演进
第一阶段:AI-Assisted Coding(AI 辅助编码)
是什么:最早期的 AI 编码模式,AI 以代码补全(Tab 补全)和内联建议的形式辅助开发者。
代表工具:GitHub Copilot(初代)、TabNine、Codeium
解决什么问题:减少重复性键入,加速常见模式的编写。
局限:单行/数行补全,不理解项目上下文,无法独立完成任务。
第二阶段:Conversational Pair-Programming(对话式结对编程)
是什么:开发者与 AI 通过多轮对话协作编程。AI 不仅能补全代码,还能理解需求、解释代码、回答技术问题。
代表工具:Cursor、早期的 Claude、ChatGPT + Canvas
解决什么问题:从"代码补全"升级为"编程伙伴",覆盖理解、设计、实现、调试全流程。
第三阶段:Vibe Coding(氛围编程)
是什么:Andrej Karpathy 于 2025 年 2 月提出。开发者用自然语言描述想要什么,不完全审查 AI 生成的每一行代码,而是"凭感觉"迭代——看效果不对就让 AI 改,直到满意为止。Collins Dictionary 评为 2025 年度词汇。
解决什么问题:极大降低编码门槛,让非程序员也能"写"软件。适合原型开发和学习探索。
核心特征:
- 用自然语言(甚至语音)描述需求
- 不完全审查生成代码
- 通过不断提修改意见迭代("把内边距减小一点")
- 追求速度和探索,不追求工程质量
局限:技术债积累快、安全隐患多、不适合生产系统。
第四阶段:Agentic Coding(智能体编码)
是什么:将任务委托给 AI Agent,Agent 自主完成规划、编码、测试、迭代,开发者在此期间可以做其他事。与 Vibe Coding 的关键区别:Agent 独立工作,开发者异步接收结果。
解决什么问题:让开发者从"盯着 AI 写代码"中解放出来,真正实现"并行工作"。
核心特征:
- Agent 自主规划执行步骤
- 使用工具(读写文件、执行命令、运行测试)
- 开发者设定目标后可以离开,稍后查看结果
- 适用于代码库重构、CI/CD 集成等任务
Agentic Engineering(智能体工程)
是什么:Karpathy 于 2025 年底提出的概念,作为 Vibe Coding 的进阶。核心主张:
- "Agentic":99% 的时间由 Agent 写代码,开发者负责编排(Orchestrate)
- "Engineering":这本身是一门有方法论的工程学科——如何拆解任务、如何审查 Agent 输出、如何设计验证流程
解决什么问题:Vibe Coding 缺乏工程纪律,Agentic Engineering 提供了一套将 Agent 纳入专业软件工程的系统方法论。
与 Vibe Coding 的对比:
| 维度 | Vibe Coding | Agentic Engineering |
|---|---|---|
| 人的角色 | 描述想要什么 | 架构设计、任务拆解、结果审查 |
| 代码审查 | 无或极少 | 每个 diff 都审查 |
| 测试 | 跑起来看看 | 测试驱动,Agent 迭代到通过 |
| Agent 自主度 | 单轮生成 | 多步:规划→编码→测试→提交 |
| 适用场景 | 原型、MVP | 生产系统、团队代码库 |
| 失败模式 | 技术债、安全漏洞 | 协调开销、审查瓶颈 |
Agent Engineering(Agent 工程 / Harness Engineering)
是什么:构建 Agent 运行的"引擎环境"——工具定义、权限控制、上下文管理、错误恢复、子 Agent 边界、Hook 机制、持久化状态等。不同于 Agentic Engineering(用 Agent 做工程),这是为 Agent 做工程。
解决什么问题:LLM 本身只做推理,Agent Engineering 决定了 Agent 能做什么、不能做什么、能做多好。
核心概念:
- Harness(缰绳/运行环境):模型周围的所有基础设施——工具、权限、Hook、工作流、子 Agent、验证反馈循环
- Outer Loop(外循环):生成→验证→修复→重复,用编译器/测试/类型检查等低成本验证驱动迭代
- Verifier(验证器):任何比模型生成更廉价、更可靠的判断机制(编译器、测试套件、类型检查器、Linter)
4. AI Coding 工具生态
CLI Agent(命令行智能体)
是什么:运行在终端中的 AI 编程 Agent,可读写文件、执行 Shell 命令、运行测试,通过自然语言交互完成编程任务。
代表工具:
- Claude Code:Anthropic 的 CLI Agent,支持 ReAct 循环、子 Agent、Hook 机制、Worktree 隔离
- OpenAI Codex CLI:OpenAI 的 CLI 编程助手
- Aider:开源 CLI 编程 Agent,支持多模型、Git 集成
- Gemini CLI:Google 的 CLI Agent
解决什么问题:不依赖特定 IDE,可在服务器、CI 环境、脚本中集成;比 IDE Agent 更适合批量和自动化任务。
IDE Agent(集成开发环境智能体)
是什么:嵌入在 IDE 中的 AI 编程助手,能直接操作编辑器、查看项目文件、应用代码修改。
代表工具:
- Cursor:支持 Agent 模式的 AI-first IDE
- Windsurf:Codeium 的 AI IDE
- GitHub Copilot Agent Mode:从补全升级为 Agent
- Zed:支持 AGENTS.md 标准的 AI 编辑器
解决什么问题:与开发者工作流深度集成,上下文感知更好(能直接读取打开的文件、光标位置等)。
背景执行平台(Background Platforms)
是什么:AI Agent 在后台异步执行编程任务,开发者提交任务后可以离开,完成时收到 PR 通知。
代表工具:
- Devin(Cognition):首个引起广泛关注的"AI 软件工程师"
- Tembo:自主执行平台
- Conductor(Melty Labs):多仓库并发执行
解决什么问题:让 Agent 处理耗时的批量任务(重构、迁移、测试覆盖),开发者的时间不再与 Agent 执行同步绑定。
AGENTS.md / CLAUDE.md / .cursorrules
是什么:项目根目录下的规则文件,定义 AI 编程助手的行为约束、技术栈偏好、代码规范、架构约定。
解决什么问题:为 Agent 提供项目级别的持久上下文——每次会话都自动加载,开发者无需反复说明"我们用的是 UIKit 不是 SwiftUI"。
有什么用:实现 Context Engineering 的核心手段之一,让 Agent 的行为在多次会话间保持一致。
5. AI Agent 核心架构
Agent 的定义
Agent = LLM + 工具 + 记忆 + 规划 + 反馈/反思
一个 Agent 不是简单地调用一次 LLM,而是在循环中运行:规划 → 执行(调用工具)→ 观察结果 → 反思 → 重复,直到达成目标或达到步数上限。
ReAct Pattern(推理-行动模式)
是什么:AI Agent 最基础的架构模式。LLM 在每一步输出"思考(Thought)→ 行动(Action)→ 观察(Observation)",循环直到解决问题。
Code 实现(伪代码):
while not done:
thought, action = llm.think(history)
observation = execute(action) # 调用工具
history.append(thought, action, observation)
解决什么问题:将 LLM 从"一次性回答"升级为"能调用工具、观察结果、调整策略的自主循环"。
关键洞察:Thought-Action-Observation 三连序列构成的"草稿纸"(Scratchpad)本身作为 Agent 的工作记忆——推理锚定在观察到的事实上,防止幻觉。
Tool Calling / Function Calling(工具调用 / 函数调用)
是什么:模型在生成过程中输出结构化的工具调用请求(如"读取文件 X"、"运行命令 Y"),由宿主程序执行后将结果返回给模型。
解决什么问题:LLM 本身只能生成文本,无法与外部世界交互。Tool Calling 赋予它"手和眼"。
有什么用:读写文件、执行 Shell 命令、查询 API、操作数据库——Agent 能力的基础构建块。
MCP(Model Context Protocol,模型上下文协议)
是什么:Anthropic 于 2024 年底发布的开放协议,基于 JSON-RPC 2.0,定义 Agent 如何发现和调用外部工具、资源和服务的标准接口。被称为 "AI 的 USB-C 接口"。
解决什么问题:此前每个 Agent 需要为每个工具单独编写集成代码(M×N 问题)。MCP 统一了 Agent ↔ Tool 的通信标准,一次编写、到处使用。
有什么用:
- 标准化的第三方工具接入
- 支持 stdio / HTTP / SSE 多种传输方式
- 自动工具注册和发现
- 配合 MCP Proxy 实现生产级路由和负载均衡
A2A(Agent-to-Agent Protocol,智能体间协议)
是什么:Google 于 2025 年发布的开放协议,标准化 Agent 之间的通信和协作。被称为 "AI 的 HTTP 协议"。
解决什么问题:MCP 解决 Agent ↔ Tool 通信,A2A 解决 Agent ↔ Agent 通信——不同框架、不同厂商的 Agent 如何互相发现能力和委托任务。
核心机制:
- Agent Card:Agent 的能力名片,声明自己能做什么
- 任务委托:Agent A 将子任务分派给 Agent B,接收结果
AG-UI(Agent-User Interface Protocol)
是什么:Agent ↔ 用户交互的协议标准,处理实时事件流、用户审批、中间状态展示。
三层 Agent 协议栈:
┌─────────────────────────────┐
│ A2A / ACP │ ← Agent ↔ Agent(协作与委托)
├─────────────────────────────┤
│ MCP │ ← Agent ↔ Tool(工具集成)
├─────────────────────────────┤
│ Function Calling (基础) │ ← 原生工具调用
├─────────────────────────────┤
│ AG-UI │ ← Agent ↔ User(交互展示)
└─────────────────────────────┘
RAG(Retrieval-Augmented Generation,检索增强生成)
是什么:在 LLM 生成回答前,先从外部知识库(文档、代码库、数据库)检索相关信息,注入上下文窗口后再生成。
解决什么问题:
- LLM 训练数据有截止日期,无法回答最新问题
- LLM 会产生幻觉(编造不存在的事实)
- 上下文窗口有限,无法装入整个代码库或文档集
有什么用:
- 基于最新文档回答技术问题
- 在庞大代码库中定位相关代码
- 企业知识库问答
演进路径:
| 阶段 | 特征 |
|---|---|
| Naive RAG | 简单的向量搜索 + LLM 生成 |
| Advanced RAG | 查询改写 + 混合搜索 + 重排序 |
| Agentic RAG | Agent 自主决定何时检索、用哪些工具、如何评估检索质量 |
关键技术:
- HyDE(Hypothetical Document Embeddings):先让 LLM 生成假设答案,用假设答案做向量搜索(而非用问题直接搜)
- Hybrid Search:向量相似度 + 关键词(BM25)混合检索
- Reranking:用小模型对 Top-K 结果重排序和过滤
- GraphRAG:用知识图谱替代/补充向量数据库,适合多跳推理
Prompt Caching(提示缓存)
是什么:将重复使用的 prompt 前缀(如系统指令、项目规则文件)缓存起来,后续请求无需重新计算。
解决什么问题:长系统 prompt(如 AGENTS.md + 项目规则 + 对话历史)每次请求都重新编码,消耗大量计算和费用。
有什么用:降低延迟(cache 命中时快 10×)和费用(cache 命中部分打 1 折)。
6. Agent 记忆系统
Agent 的记忆分为四个层级:
| 层级 | 范围 | 机制 | 特点 |
|---|---|---|---|
| Scratchpad(草稿纸) | 单任务当前轮次 | ReAct 的 Thought-Action-Observation 轨迹 | 每次迭代完整重读,防幻觉 |
| Working Memory(工作记忆) | 当前会话 | 上下文窗口 | 受限于窗口大小,需定期压缩 |
| Episodic Memory(情景记忆) | 用户/项目历史 | 向量数据库,按相似度检索 | 记住"上次怎么解决的" |
| Long-term Memory(长期记忆) | 跨会话共享 | 持久化知识库、规则文件 | AGENTS.md、CLAUDE.md 等 |
Context Rot(上下文衰减)
是什么:当上下文窗口内容变得很长时,模型对中间部分的回忆能力显著下降。RoPE(Rotary Position Encoding)位置编码造成 U 形注意力曲线——开头和结尾记得清,中间段回忆率降至 30-50%。
解决策略:
- 上下文压缩(Compaction):定期摘要长历史
- 新鲜会话:每个独立任务开新会话
- 外部化记忆:把状态写入持久化文件而非全部留在上下文窗口
- RepoMem(ICLR 2026):从仓库 commit 历史构建情景记忆,提升代码定位准确率
7. 工程实践与方法论
Prompt Engineering(提示工程)
是什么:设计和优化给 LLM 的输入指令,以获得期望的输出。从"随便问"进化为一门工程学科。
解决什么问题:LLM 对措辞敏感——同样的需求,不同的 prompt 结构可能导致截然不同的代码质量。
核心技巧:
- 明确角色和约束("你是一个资深 iOS 开发者...")
- 提供示例(Few-shot)
- 分解复杂任务(Chain-of-Thought)
- 指定输出格式
Context Engineering(上下文工程)
是什么:设计"模型看到什么信息、以什么形式、在什么时机、以什么优先级"的系统方法——包括仓库摘要、AGENTS.md、历史决策、压缩后历史。
解决什么问题:Prompt Engineering 只管单轮"问了什么",Context Engineering 管整个会话"模型知道什么"。
与 Prompt Engineering 的区别:
- Prompt Engineering = 问得好
- Context Engineering = 让模型"知道得够多且不多余"
Spec-Driven Development(规约驱动开发,SDD)
是什么:在写任何代码前,先用结构化 Markdown 规约捕获意图、约束和验收标准。AI 从规约推导架构、拆解任务、逐步实现。
四阶段流程:
- Specify(规约):用自然语言描述需求,AI 起草,人工审批
- Plan(计划):AI 从规约推导架构方案
- Tasks(任务):AI 生成有序的原子任务清单
- Implement(实现):Agent 逐任务执行,自我验证,勾选完成
解决什么问题:Agent 在长任务中会遭遇 Context Rot,遗忘初始需求。规约作为"外部锚点"始终可回顾,防止目标漂移。
Task Decomposition(任务拆解)
是什么:将大型编程任务拆分为 Agent 可独立处理的原子单元——一个功能/一个文件/一个模块一个会话。
解决什么问题:
- 太大 → Agent 失去连贯性(Context Rot)
- 太小 → 协调开销超过收益
- 关键挑战:找到"刚好合适"的粒度
Checkpoint Discipline(检查点纪律)
是什么:在每次重大变更前提交工作状态。Agent 失败时回滚重来,而非在错误基础上修补。
解决什么问题:Agent 产生错误后继续修补通常越来越糟——从干净状态重来成功率更高。
Verification Loop(验证循环)
是什么:AI 生成→自动化验证→接受或修改→重复。验证器包括编译器、测试套件、类型检查、Linter、CI 流水线。
解决什么问题:AI 生成代码不可靠。利用廉价、确定性的验证信号驱动 Agent 自我修正——Outer Loop 的核心。
Hooks(钩子)
是什么:在 Agent 执行某些操作前/后自动运行的确定性代码。可拦截危险命令、格式化代码、运行测试、收集追踪、注入反馈。
解决什么问题:Agent 是概率性的(可能犯错),Hook 是确定性的(不会犯错)——"普通软件工程重新进入概率系统的地方"。
8. 多智能体系统
Sub-Agent(子 Agent)
是什么:主 Agent 派生的、拥有独立上下文窗口和更窄任务的 Agent。可同时运行多个子 Agent 并行处理不同任务。
解决什么问题:单个 Agent 的上下文窗口有限且容易污染。子 Agent 提供上下文隔离——研究、搜索、评估等工作不会稀释主 Agent 的关键上下文。
关键属性:
- 独立上下文窗口
- 可并行执行
- 只返回结果(不污染主 Agent 上下文)
- 失败不影响其他子 Agent
Agent Teams(Agent 团队)
是什么:多个 peer Agent 可直接互相通信,而非仅向主 Agent 报告。一个会话作为 Team Lead,队友在自己的上下文窗口中独立工作。
代表实现:Claude Code 的 Agent Teams、AG2、CrewAI
解决什么问题:子 Agent 只能向上报告,Agent 团队支持横向通信——适合需要多方协作的复杂任务(如 A Agent 实现前端、B Agent 实现后端,双方协商 API 约定)。
Hierarchical Multi-Agent(层级多智能体)
是什么:三层架构的 Agent 协作模式:
编排者 Agent(Orchestrator/Planner)
├── 领域专家 Agent A(前端)
├── 领域专家 Agent B(后端)
└── 领域专家 Agent C(测试)
├── 检索 Agent 1
└── 检索 Agent 2
解决什么问题:复杂任务需要专业化分工,单一 Agent 难以面面俱到。
Parallel Multi-Agent(并行多智能体)
是什么:多个专业 Agent 同时从不同角度处理同一问题,最后合并结果。
解决什么问题:某些任务需要多视角验证(如代码审查中同时检查正确性、安全性、性能)。
Agentic Orchestration(Agent 编排)
是什么:协调多个 Agent 在定义好的工作流中运作——决定任务分配、权限、通信方式、人类干预点。
与 Multi-Agent 的关系:Multi-Agent 是"多个 Agent 存在",Orchestration 是"它们如何协作"。
9. 质量保障与治理
Human-in-the-Loop(人机协同 / 人在回路)
是什么:在自动化工作流的关���节点嵌入人类审查和决策——审查输出、批准变更、定义约束、在模糊或失败时介入。
解决什么问题:Agent 不是 100% 可靠。Human-in-the-Loop 以速度换取安全性和准确性。
实现方式:
- 审批门控(高危操作需人工确认)
- 结果审查(Agent 产出代码后人工 Review)
- 模糊升级(Agent 不确定时暂停询问)
Guardrails(护栏)
是什么:对 Agent 行为的硬性约束——权限边界、受限文件访问、强制编码规范、必须通过的测试、审批要求。
解决什么问题:给予 Agent 自主权的同时防止灾难性错误(删除生产数据库、提交带密钥的代码等)。
Autonomy Gradient(自主度梯度)
是什么:从简单建议(低自主度)到全自主执行(高自主度)的光谱。Agentic Engineering 的核心决策之一是在每个任务上将 Agent 放在光谱的哪个位置。
纯建议 → 代码补全 → Agent 写+人审 → Agent 写+自动审 → 全自主执行
解决什么问题:并非所有任务都适合高自主度——风险越高,自主度应越低。
Agent Failure Mode(Agent 失败模式)
是什么:Agent 产生错误结果的可预测方式:
- 误解需求:将自然语言模糊描述理解偏差
- 生成不安全代码:SQL 注入、硬编码密钥
- 无限循环:在"修改-失败-修改"中往复
- 上下文遗忘:Context Rot 导致偏离原始目标
解决什么问题:理解和预判失败模式是 Agentic Engineering 的核心能力——在出事前设置防护。
Production-Grade AI Development(生产级 AI 开发)
是什么:在可靠性、安全性、可扩展性、可维护性要求高的场景下使用 AI 工具/Agent 的方法论。
核心要求:
- 严格的测试覆盖
- 完整的文档
- 持续监控
- 技术治理机制
10. 评测与基准
SWE-bench
是什么:评估 Coding Agent 解决真实 GitHub Issue 能力的基准测试。将 Agent 放在一个代码库中,给它一个 Issue 描述,看它能否生成正确的 Patch。
SWE-bench Verified:SWE-bench 的精简验证子集,移除了描述不清或不可行的 Issue。
关键数据:
- Claude Opus 4.7 在 SWE-bench Verified 上达 87.6%
- 但 Benchmark 高分 ≠ 实际好用——Answer.AI 测试 Devin 处理真实生产任务的成功率仅 15%(3/20)
解决什么问题:需要一个标准化的 Coding Agent 能力衡量尺度。
局限性:Benchmark 任务经过精心筛选,无法代表真实环境的模糊需求、未文档化依赖和上下文复杂度。
Benchmark Contamination(基准污染)
是什么:基准测试中的任务/答案/变体出现在模型的训练数据中,导致模型在基准上表现好但缺乏真实泛化能力。
解决什么问题(反而是制造问题):提示了仅看 Benchmark 分数的危险性——需要在实际项目中验证 Agent 能力。
Reflection / Reflexion Pattern(反思模式)
是什么:ReAct 循环中的侧循环——Agent 在收到验证信号(测试通过/失败、类型检查结果)后进行自我批评,分析失败原因并调整策略。
关键数据:Reflexion + GPT-4 在 HumanEval 上达 91% pass@1(对比无反思的 80%)。
适用条件:
- ✅ 有明确的通过/失败信号(测试、类型检查)
- ✅ 失败模式是"差一点就对了"
- ❌ 开放式生成任务(容易变成自我应验的偏见)
- ❌ 成本敏感(反思约 2× Token 消耗)
11. 关键概念速查表
按字母排序
| 术语 | 一句话解释 |
|---|---|
| A2A | Google 的 Agent 间通信协议("AI 的 HTTP") |
| AG-UI | Agent 与用户交互的协议标准 |
| Agent | 能自主调用工具、观察结果、调整策略的 LLM 循环系统 |
| Agent Engineering | 构建 Agent 运行环境(工具、权限、记忆、Hook)的工程 |
| Agentic Coding | Agent 自主完成编码任务,开发者异步接收结果 |
| Agentic Engineering | 用工程方法论编排 Agent 做开发(Karpathy 提出) |
| Agentic RAG | Agent 自主决定何时检索、用什么工具检索 |
| Benchmark Contamination | 基准数据泄漏导致评分失真 |
| CLAUDE.md / AGENTS.md | 项目级 Agent 行为规则文件 |
| Context Engineering | 设计模型"看到什么信息"的系统方法 |
| Context Rot | 长上下文中模型对中间内容的记忆衰减 |
| Context Window | 模型单次处理的最大 token 数 |
| DPO | 跳过奖励模型直接用偏好数据优化 LLM(RLHF 的简化替代) |
| Embedding | 文本的数值向量表示,用于语义搜索 |
| GRPO | 消除 Critic 模型的 RL 方法(DeepSeek-R1 使用) |
| Guardrails | Agent 行为的硬性约束(权限边界、审批要求) |
| Harness | 模型周围的所有基础设施(工具、权限、Hook、工作流) |
| Hooks | Agent 操作前/后自动运行的确定性代码 |
| Human-in-the-Loop | 自动化流中嵌入人类审查决策点 |
| LLM | 基于 Transformer 的大规模语言模型 |
| MCP | Anthropic 的 Agent-工具通信标准协议("AI 的 USB-C") |
| Multi-Agent System | 多个专业 Agent 协作完成复杂任务 |
| Outer Loop | 生成→验证→修复→重复的外部循环 |
| Pre-training | 在海量文本上训练模型预测下一个 token |
| Prompt Caching | 缓存重复 prompt 前缀以降低延迟和费用 |
| Prompt Engineering | 设计和优化给 LLM 的输入指令 |
| RAG | 检索外部知识后再生成回答(减少幻觉) |
| ReAct | Think-Act-Observe 循环的基础 Agent 架构 |
| Reflection / Reflexion | Agent 基于验证信号自我批评的侧循环 |
| RLHF | 用人类偏好反馈训练奖励模型优化 LLM |
| RLVR | 用可自动验证的结果替代人工标注做 RL |
| SFT | 用指令-回答对训练模型遵循指令 |
| Spec-Driven Development | 先写规约,AI 从规约推导实现 |
| Sub-Agent | 独立上下文窗口的子任务执行者 |
| SWE-bench | 评估 Coding Agent 的标准基准(基于真实 GitHub Issue) |
| Task Decomposition | 将大任务拆分为 Agent 可处理的原子单元 |
| Token | 模型处理文本的最小单位 |
| Tool Calling | 模型输出结构化请求调用外部工具 |
| Transformer | 现代 LLM 的底层神经网络架构(2017) |
| Verification Loop | 用自动化验证驱动 Agent 自我修正 |
| Vibe Coding | 用自然语言描述需求不完全审查代码(Karpathy 2025) |
按演进时间线
2017 ─ Transformer 架构提出
2021 ─ GitHub Copilot 发布(代码补全时代开始)
2022 ─ ChatGPT 发布(对话式 AI 爆发)
2023 ─ DPO 提出(简化 RLHF)、ReAct 成为 Agent 标准架构
2024 ─ MCP 协议发布、Devin 引发 "AI 软件工程师" 热议
2025 ─ Vibe Coding(Karpathy)、A2A 协议(Google)、SWE-bench 成为标准
2025下 ─ Agentic Engineering(Karpathy)、Harness Engineering 概念成型
2026 ─ CLI Agent 爆发(Claude Code、Codex CLI、Gemini CLI)、多 Agent 编排成熟
本文档基于截至 2026 年 8 月的公开资料整理,信息来源包括:
- calasius/coding-agents-evolution (GitHub)
- Anthropic 官方文档与博客
- Google A2A 协议文档
- Simon Willison's Agentic Engineering Patterns
- IBM Think / Glide / Morph / Tembo 技术博客
- Amplifi Labs AI Coding Terms Glossary
- agentpatterns.ai Ubiquitous Language for AI Plans
- 各类学术论文(Reflexion, DPO, GRPO, RepoMem 等)