AI Coding 与 AI Agent 专业术语梳理

AI Coding 与 AI Agent 专业术语梳理

目录

  1. 基础概念
  2. 模型训练与对齐
  3. AI Coding 范式演进
  4. AI Coding 工具生态
  5. AI Agent 核心架构
  6. Agent 记忆系统
  7. 工程实践与方法论
  8. 多智能体系统
  9. 质量保障与治理
  10. 评测与基准
  11. 关键概念速查表

1. 基础概念

LLM(Large Language Model,大语言模型)

是什么:基于 Transformer 架构、在海量文本数据上训练的神经网络模型,参数量通常达数十亿到数万亿。

解决什么问题:让机器理解和生成自然语言,替代过去需要人工编写规则的自然语言处理方式。

有什么用:文本生成、代码生成、翻译、摘要、问答等几乎所有 NLP 任务的基础引擎。


Token(令牌/词元)

是什么:LLM 处理文本的最小单位。一个 token 约等于 0.75 个英文单词或约 1-2 个中文字符。

解决什么问题:将变长的自然语言文本转化为模型可计算的固定维度向量。

有什么用:计费单位(按 token 计费)、模型输入长度限制(context window 以 token 数衡量)。


Context Window(上下文窗口)

是什么:模型单次交互能处理的最大 token 数量,包括输入、输出、工具调用结果、对话历史等所有内容。

解决什么问题:模型"记忆"有限,超出窗口的内容会被截断或遗忘。

有什么用:决定了单次对话能容纳多少代码、文档和历史信息。现代模型窗口从 4K 扩展到 200K-1M tokens。


Embedding(嵌入向量)

是什么:将文本、代码等内容映射为高维空间中的数值向量(如 1536 维),语义相近的内容在向量空间中距离更近。

解决什么问题:让机器能以数学方式计算"语义相似度",而非仅靠关键词匹配。

有什么用:语义搜索、代码检索、RAG 中的文档召回、聚类分析。


Transformer

是什么:2017 年由 Google 提出的神经网络架构,核心创新是 Self-Attention(自注意力)机制,取代了此前的 RNN/LSTM。

解决什么问题:解决了 RNN 无法并行训练、长距离依赖衰减的问题。

有什么用:几乎所有现代 LLM(GPT、Claude、Gemini 等)的底层架构。


2. 模型训练与对齐

Pre-training(预训练)

是什么:在海量无标注文本(数万亿 token)上训练模型预测下一个 token,是最基础、最昂贵的训练阶段。

解决什么问题:让模型学会语言的语法、语义、世界知识和推理模式。

输出产物:Base Model(基座模型)—— 只能做文本补全,还不会"对话"。


SFT(Supervised Fine-Tuning,监督微调)

是什么:用人工编写的"指令-回答"对(通常 1K-100K 条)继续训练基座模型。

解决什么问题:基座模型只会续写文本,SFT 教会它"遵循指令"、"以对话形式回答"。

有什么用:将"补全模型"转化为"助手模型",是 ChatGPT/Claude 等产品可用性的关键一步。


RLHF(Reinforcement Learning from Human Feedback,人类反馈强化学习)

是什么:三阶段流程 —— ①人工标注员比较模型输出并标记偏好,②训练奖励模型(Reward Model)预测人类偏好,③用 PPO 强化学习算法优化 LLM 以最大化奖励。

解决什么问题:SFT 后的模型虽能遵循指令,但可能输出有害、不诚实或无帮助的内容。RLHF 让模型对齐(Align)人类价值观。

有什么用:提升模型的安全性、有用性和诚实性(Helpful, Harmless, Honest 的 "HHH" 原则)。

局限性:奖励攻击(Reward Hacking)、谄媚倾向(Sycophancy)、冗长偏好(Verbosity Bias)。


DPO(Direct Preference Optimization,直接偏好优化)

是什么:2023 年 NeuralPS 提出的 RLHF 替代方案。跳过训练奖励模型,直接用偏好数据对(好的回答 vs 差的回答)通过分类损失函数优化 LLM。

解决什么问题:RLHF 流程复杂(需训练和维护独立的奖励模型、运行 RL 采样循环),DPO 用更简单、更稳定的方式达到类似效果。

有什么用:降低对齐训练的成本和复杂度,避免 RL 不稳定性和奖励攻击。


RLVR(Reinforcement Learning with Verifiable Rewards,可验证奖励的强化学习)

是什么:用可自动验证的结果(测试通过/失败、数学答案对错、代码能否编译)替代人工标注作为奖励信号。

解决什么问题:RLHF 依赖昂贵的人工标注,RLVR 利用编程领域天然存在的"可执行验证"信号实现自动化对齐。

有什么用:在代码生成、数学推理等有明确对错的领域,实现低成本、大规模的对齐训练。


GRPO(Group Relative Policy Optimization,组相对策略优化)

是什么:DeepSeek-R1 使用的训练方法。对同一 prompt 采样多个回答,组内归一化计算优势值(advantage),无需独立的 Critic 模型。

解决什么问题:传统 PPO 需要维护与策略模型同规模的 Critic 模型,内存开销翻倍。GRPO 消除了 Critic。

有什么用:降低 RL 训练的内存和计算开销,尤其适合资源受限场景。


其他现代对齐方法(2025-2026)

方法 特点
SimPO 用平均对数概率作隐式奖励,无需参考模型
KTO 只需点赞/点踩反馈,无需成对比较
ORPO 将 SFT 和偏好对齐合并为单一训练目标

3. AI Coding 范式演进

第一阶段:AI-Assisted Coding(AI 辅助编码)

是什么:最早期的 AI 编码模式,AI 以代码补全(Tab 补全)和内联建议的形式辅助开发者。

代表工具:GitHub Copilot(初代)、TabNine、Codeium

解决什么问题:减少重复性键入,加速常见模式的编写。

局限:单行/数行补全,不理解项目上下文,无法独立完成任务。


第二阶段:Conversational Pair-Programming(对话式结对编程)

是什么:开发者与 AI 通过多轮对话协作编程。AI 不仅能补全代码,还能理解需求、解释代码、回答技术问题。

代表工具:Cursor、早期的 Claude、ChatGPT + Canvas

解决什么问题:从"代码补全"升级为"编程伙伴",覆盖理解、设计、实现、调试全流程。


第三阶段:Vibe Coding(氛围编程)

是什么:Andrej Karpathy 于 2025 年 2 月提出。开发者用自然语言描述想要什么,不完全审查 AI 生成的每一行代码,而是"凭感觉"迭代——看效果不对就让 AI 改,直到满意为止。Collins Dictionary 评为 2025 年度词汇。

解决什么问题:极大降低编码门槛,让非程序员也能"写"软件。适合原型开发和学习探索。

核心特征

  • 用自然语言(甚至语音)描述需求
  • 不完全审查生成代码
  • 通过不断提修改意见迭代("把内边距减小一点")
  • 追求速度和探索,不追求工程质量

局限:技术债积累快、安全隐患多、不适合生产系统。


第四阶段:Agentic Coding(智能体编码)

是什么:将任务委托给 AI Agent,Agent 自主完成规划、编码、测试、迭代,开发者在此期间可以做其他事。与 Vibe Coding 的关键区别:Agent 独立工作,开发者异步接收结果。

解决什么问题:让开发者从"盯着 AI 写代码"中解放出来,真正实现"并行工作"。

核心特征

  • Agent 自主规划执行步骤
  • 使用工具(读写文件、执行命令、运行测试)
  • 开发者设定目标后可以离开,稍后查看结果
  • 适用于代码库重构、CI/CD 集成等任务

Agentic Engineering(智能体工程)

是什么:Karpathy 于 2025 年底提出的概念,作为 Vibe Coding 的进阶。核心主张:

  • "Agentic":99% 的时间由 Agent 写代码,开发者负责编排(Orchestrate)
  • "Engineering":这本身是一门有方法论的工程学科——如何拆解任务、如何审查 Agent 输出、如何设计验证流程

解决什么问题:Vibe Coding 缺乏工程纪律,Agentic Engineering 提供了一套将 Agent 纳入专业软件工程的系统方法论。

与 Vibe Coding 的对比

维度 Vibe Coding Agentic Engineering
人的角色 描述想要什么 架构设计、任务拆解、结果审查
代码审查 无或极少 每个 diff 都审查
测试 跑起来看看 测试驱动,Agent 迭代到通过
Agent 自主度 单轮生成 多步:规划→编码→测试→提交
适用场景 原型、MVP 生产系统、团队代码库
失败模式 技术债、安全漏洞 协调开销、审查瓶颈

Agent Engineering(Agent 工程 / Harness Engineering)

是什么:构建 Agent 运行的"引擎环境"——工具定义、权限控制、上下文管理、错误恢复、子 Agent 边界、Hook 机制、持久化状态等。不同于 Agentic Engineering(用 Agent 做工程),这是为 Agent 做工程。

解决什么问题:LLM 本身只做推理,Agent Engineering 决定了 Agent 能做什么、不能做什么、能做多好。

核心概念

  • Harness(缰绳/运行环境):模型周围的所有基础设施——工具、权限、Hook、工作流、子 Agent、验证反馈循环
  • Outer Loop(外循环):生成→验证→修复→重复,用编译器/测试/类型检查等低成本验证驱动迭代
  • Verifier(验证器):任何比模型生成更廉价、更可靠的判断机制(编译器、测试套件、类型检查器、Linter)

4. AI Coding 工具生态

CLI Agent(命令行智能体)

是什么:运行在终端中的 AI 编程 Agent,可读写文件、执行 Shell 命令、运行测试,通过自然语言交互完成编程任务。

代表工具

  • Claude Code:Anthropic 的 CLI Agent,支持 ReAct 循环、子 Agent、Hook 机制、Worktree 隔离
  • OpenAI Codex CLI:OpenAI 的 CLI 编程助手
  • Aider:开源 CLI 编程 Agent,支持多模型、Git 集成
  • Gemini CLI:Google 的 CLI Agent

解决什么问题:不依赖特定 IDE,可在服务器、CI 环境、脚本中集成;比 IDE Agent 更适合批量和自动化任务。


IDE Agent(集成开发环境智能体)

是什么:嵌入在 IDE 中的 AI 编程助手,能直接操作编辑器、查看项目文件、应用代码修改。

代表工具

  • Cursor:支持 Agent 模式的 AI-first IDE
  • Windsurf:Codeium 的 AI IDE
  • GitHub Copilot Agent Mode:从补全升级为 Agent
  • Zed:支持 AGENTS.md 标准的 AI 编辑器

解决什么问题:与开发者工作流深度集成,上下文感知更好(能直接读取打开的文件、光标位置等)。


背景执行平台(Background Platforms)

是什么:AI Agent 在后台异步执行编程任务,开发者提交任务后可以离开,完成时收到 PR 通知。

代表工具

  • Devin(Cognition):首个引起广泛关注的"AI 软件工程师"
  • Tembo:自主执行平台
  • Conductor(Melty Labs):多仓库并发执行

解决什么问题:让 Agent 处理耗时的批量任务(重构、迁移、测试覆盖),开发者的时间不再与 Agent 执行同步绑定。


AGENTS.md / CLAUDE.md / .cursorrules

是什么:项目根目录下的规则文件,定义 AI 编程助手的行为约束、技术栈偏好、代码规范、架构约定。

解决什么问题:为 Agent 提供项目级别的持久上下文——每次会话都自动加载,开发者无需反复说明"我们用的是 UIKit 不是 SwiftUI"。

有什么用:实现 Context Engineering 的核心手段之一,让 Agent 的行为在多次会话间保持一致。


5. AI Agent 核心架构

Agent 的定义

Agent = LLM + 工具 + 记忆 + 规划 + 反馈/反思

一个 Agent 不是简单地调用一次 LLM,而是在循环中运行:规划 → 执行(调用工具)→ 观察结果 → 反思 → 重复,直到达成目标或达到步数上限。


ReAct Pattern(推理-行动模式)

是什么:AI Agent 最基础的架构模式。LLM 在每一步输出"思考(Thought)→ 行动(Action)→ 观察(Observation)",循环直到解决问题。

Code 实现(伪代码):

while not done:
    thought, action = llm.think(history)
    observation = execute(action)     # 调用工具
    history.append(thought, action, observation)

解决什么问题:将 LLM 从"一次性回答"升级为"能调用工具、观察结果、调整策略的自主循环"。

关键洞察:Thought-Action-Observation 三连序列构成的"草稿纸"(Scratchpad)本身作为 Agent 的工作记忆——推理锚定在观察到的事实上,防止幻觉。


Tool Calling / Function Calling(工具调用 / 函数调用)

是什么:模型在生成过程中输出结构化的工具调用请求(如"读取文件 X"、"运行命令 Y"),由宿主程序执行后将结果返回给模型。

解决什么问题:LLM 本身只能生成文本,无法与外部世界交互。Tool Calling 赋予它"手和眼"。

有什么用:读写文件、执行 Shell 命令、查询 API、操作数据库——Agent 能力的基础构建块。


MCP(Model Context Protocol,模型上下文协议)

是什么:Anthropic 于 2024 年底发布的开放协议,基于 JSON-RPC 2.0,定义 Agent 如何发现和调用外部工具、资源和服务的标准接口。被称为 "AI 的 USB-C 接口"

解决什么问题:此前每个 Agent 需要为每个工具单独编写集成代码(M×N 问题)。MCP 统一了 Agent ↔ Tool 的通信标准,一次编写、到处使用。

有什么用

  • 标准化的第三方工具接入
  • 支持 stdio / HTTP / SSE 多种传输方式
  • 自动工具注册和发现
  • 配合 MCP Proxy 实现生产级路由和负载均衡

A2A(Agent-to-Agent Protocol,智能体间协议)

是什么:Google 于 2025 年发布的开放协议,标准化 Agent 之间的通信和协作。被称为 "AI 的 HTTP 协议"

解决什么问题:MCP 解决 Agent ↔ Tool 通信,A2A 解决 Agent ↔ Agent 通信——不同框架、不同厂商的 Agent 如何互相发现能力和委托任务。

核心机制

  • Agent Card:Agent 的能力名片,声明自己能做什么
  • 任务委托:Agent A 将子任务分派给 Agent B,接收结果

AG-UI(Agent-User Interface Protocol)

是什么:Agent ↔ 用户交互的协议标准,处理实时事件流、用户审批、中间状态展示。

三层 Agent 协议栈

┌─────────────────────────────┐
│   A2A / ACP                 │  ← Agent ↔ Agent(协作与委托)
├─────────────────────────────┤
│   MCP                       │  ← Agent ↔ Tool(工具集成)
├─────────────────────────────┤
│   Function Calling (基础)    │  ← 原生工具调用
├─────────────────────────────┤
│   AG-UI                     │  ← Agent ↔ User(交互展示)
└─────────────────────────────┘

RAG(Retrieval-Augmented Generation,检索增强生成)

是什么:在 LLM 生成回答前,先从外部知识库(文档、代码库、数据库)检索相关信息,注入上下文窗口后再生成。

解决什么问题

  1. LLM 训练数据有截止日期,无法回答最新问题
  2. LLM 会产生幻觉(编造不存在的事实)
  3. 上下文窗口有限,无法装入整个代码库或文档集

有什么用

  • 基于最新文档回答技术问题
  • 在庞大代码库中定位相关代码
  • 企业知识库问答

演进路径

阶段 特征
Naive RAG 简单的向量搜索 + LLM 生成
Advanced RAG 查询改写 + 混合搜索 + 重排序
Agentic RAG Agent 自主决定何时检索、用哪些工具、如何评估检索质量

关键技术

  • HyDE(Hypothetical Document Embeddings):先让 LLM 生成假设答案,用假设答案做向量搜索(而非用问题直接搜)
  • Hybrid Search:向量相似度 + 关键词(BM25)混合检索
  • Reranking:用小模型对 Top-K 结果重排序和过滤
  • GraphRAG:用知识图谱替代/补充向量数据库,适合多跳推理

Prompt Caching(提示缓存)

是什么:将重复使用的 prompt 前缀(如系统指令、项目规则文件)缓存起来,后续请求无需重新计算。

解决什么问题:长系统 prompt(如 AGENTS.md + 项目规则 + 对话历史)每次请求都重新编码,消耗大量计算和费用。

有什么用:降低延迟(cache 命中时快 10×)和费用(cache 命中部分打 1 折)。


6. Agent 记忆系统

Agent 的记忆分为四个层级:

层级 范围 机制 特点
Scratchpad(草稿纸) 单任务当前轮次 ReAct 的 Thought-Action-Observation 轨迹 每次迭代完整重读,防幻觉
Working Memory(工作记忆) 当前会话 上下文窗口 受限于窗口大小,需定期压缩
Episodic Memory(情景记忆) 用户/项目历史 向量数据库,按相似度检索 记住"上次怎么解决的"
Long-term Memory(长期记忆) 跨会话共享 持久化知识库、规则文件 AGENTS.md、CLAUDE.md 等

Context Rot(上下文衰减)

是什么:当上下文窗口内容变得很长时,模型对中间部分的回忆能力显著下降。RoPE(Rotary Position Encoding)位置编码造成 U 形注意力曲线——开头和结尾记得清,中间段回忆率降至 30-50%。

解决策略

  • 上下文压缩(Compaction):定期摘要长历史
  • 新鲜会话:每个独立任务开新会话
  • 外部化记忆:把状态写入持久化文件而非全部留在上下文窗口
  • RepoMem(ICLR 2026):从仓库 commit 历史构建情景记忆,提升代码定位准确率

7. 工程实践与方法论

Prompt Engineering(提示工程)

是什么:设计和优化给 LLM 的输入指令,以获得期望的输出。从"随便问"进化为一门工程学科。

解决什么问题:LLM 对措辞敏感——同样的需求,不同的 prompt 结构可能导致截然不同的代码质量。

核心技巧

  • 明确角色和约束("你是一个资深 iOS 开发者...")
  • 提供示例(Few-shot)
  • 分解复杂任务(Chain-of-Thought)
  • 指定输出格式

Context Engineering(上下文工程)

是什么:设计"模型看到什么信息、以什么形式、在什么时机、以什么优先级"的系统方法——包括仓库摘要、AGENTS.md、历史决策、压缩后历史。

解决什么问题:Prompt Engineering 只管单轮"问了什么",Context Engineering 管整个会话"模型知道什么"。

与 Prompt Engineering 的区别

  • Prompt Engineering = 问得好
  • Context Engineering = 让模型"知道得够多且不多余"

Spec-Driven Development(规约驱动开发,SDD)

是什么:在写任何代码前,先用结构化 Markdown 规约捕获意图、约束和验收标准。AI 从规约推导架构、拆解任务、逐步实现。

四阶段流程

  1. Specify(规约):用自然语言描述需求,AI 起草,人工审批
  2. Plan(计划):AI 从规约推导架构方案
  3. Tasks(任务):AI 生成有序的原子任务清单
  4. Implement(实现):Agent 逐任务执行,自我验证,勾选完成

解决什么问题:Agent 在长任务中会遭遇 Context Rot,遗忘初始需求。规约作为"外部锚点"始终可回顾,防止目标漂移。


Task Decomposition(任务拆解)

是什么:将大型编程任务拆分为 Agent 可独立处理的原子单元——一个功能/一个文件/一个模块一个会话。

解决什么问题

  • 太大 → Agent 失去连贯性(Context Rot)
  • 太小 → 协调开销超过收益
  • 关键挑战:找到"刚好合适"的粒度

Checkpoint Discipline(检查点纪律)

是什么:在每次重大变更前提交工作状态。Agent 失败时回滚重来,而非在错误基础上修补。

解决什么问题:Agent 产生错误后继续修补通常越来越糟——从干净状态重来成功率更高。


Verification Loop(验证循环)

是什么:AI 生成→自动化验证→接受或修改→重复。验证器包括编译器、测试套件、类型检查、Linter、CI 流水线。

解决什么问题:AI 生成代码不可靠。利用廉价、确定性的验证信号驱动 Agent 自我修正——Outer Loop 的核心。


Hooks(钩子)

是什么:在 Agent 执行某些操作前/后自动运行的确定性代码。可拦截危险命令、格式化代码、运行测试、收集追踪、注入反馈。

解决什么问题:Agent 是概率性的(可能犯错),Hook 是确定性的(不会犯错)——"普通软件工程重新进入概率系统的地方"。


8. 多智能体系统

Sub-Agent(子 Agent)

是什么:主 Agent 派生的、拥有独立上下文窗口和更窄任务的 Agent。可同时运行多个子 Agent 并行处理不同任务。

解决什么问题:单个 Agent 的上下文窗口有限且容易污染。子 Agent 提供上下文隔离——研究、搜索、评估等工作不会稀释主 Agent 的关键上下文。

关键属性

  • 独立上下文窗口
  • 可并行执行
  • 只返回结果(不污染主 Agent 上下文)
  • 失败不影响其他子 Agent

Agent Teams(Agent 团队)

是什么:多个 peer Agent 可直接互相通信,而非仅向主 Agent 报告。一个会话作为 Team Lead,队友在自己的上下文窗口中独立工作。

代表实现:Claude Code 的 Agent Teams、AG2、CrewAI

解决什么问题:子 Agent 只能向上报告,Agent 团队支持横向通信——适合需要多方协作的复杂任务(如 A Agent 实现前端、B Agent 实现后端,双方协商 API 约定)。


Hierarchical Multi-Agent(层级多智能体)

是什么:三层架构的 Agent 协作模式:

编排者 Agent(Orchestrator/Planner)
    ├── 领域专家 Agent A(前端)
    ├── 领域专家 Agent B(后端)
    └── 领域专家 Agent C(测试)
            ├── 检索 Agent 1
            └── 检索 Agent 2

解决什么问题:复杂任务需要专业化分工,单一 Agent 难以面面俱到。


Parallel Multi-Agent(并行多智能体)

是什么:多个专业 Agent 同时从不同角度处理同一问题,最后合并结果。

解决什么问题:某些任务需要多视角验证(如代码审查中同时检查正确性、安全性、性能)。


Agentic Orchestration(Agent 编排)

是什么:协调多个 Agent 在定义好的工作流中运作——决定任务分配、权限、通信方式、人类干预点。

与 Multi-Agent 的关系:Multi-Agent 是"多个 Agent 存在",Orchestration 是"它们如何协作"。


9. 质量保障与治理

Human-in-the-Loop(人机协同 / 人在回路)

是什么:在自动化工作流的关���节点嵌入人类审查和决策——审查输出、批准变更、定义约束、在模糊或失败时介入。

解决什么问题:Agent 不是 100% 可靠。Human-in-the-Loop 以速度换取安全性和准确性。

实现方式

  • 审批门控(高危操作需人工确认)
  • 结果审查(Agent 产出代码后人工 Review)
  • 模糊升级(Agent 不确定时暂停询问)

Guardrails(护栏)

是什么:对 Agent 行为的硬性约束——权限边界、受限文件访问、强制编码规范、必须通过的测试、审批要求。

解决什么问题:给予 Agent 自主权的同时防止灾难性错误(删除生产数据库、提交带密钥的代码等)。


Autonomy Gradient(自主度梯度)

是什么:从简单建议(低自主度)到全自主执行(高自主度)的光谱。Agentic Engineering 的核心决策之一是在每个任务上将 Agent 放在光谱的哪个位置。

纯建议 → 代码补全 → Agent 写+人审 → Agent 写+自动审 → 全自主执行

解决什么问题:并非所有任务都适合高自主度——风险越高,自主度应越低。


Agent Failure Mode(Agent 失败模式)

是什么:Agent 产生错误结果的可预测方式:

  • 误解需求:将自然语言模糊描述理解偏差
  • 生成不安全代码:SQL 注入、硬编码密钥
  • 无限循环:在"修改-失败-修改"中往复
  • 上下文遗忘:Context Rot 导致偏离原始目标

解决什么问题:理解和预判失败模式是 Agentic Engineering 的核心能力——在出事前设置防护。


Production-Grade AI Development(生产级 AI 开发)

是什么:在可靠性、安全性、可扩展性、可维护性要求高的场景下使用 AI 工具/Agent 的方法论。

核心要求

  • 严格的测试覆盖
  • 完整的文档
  • 持续监控
  • 技术治理机制

10. 评测与基准

SWE-bench

是什么:评估 Coding Agent 解决真实 GitHub Issue 能力的基准测试。将 Agent 放在一个代码库中,给它一个 Issue 描述,看它能否生成正确的 Patch。

SWE-bench Verified:SWE-bench 的精简验证子集,移除了描述不清或不可行的 Issue。

关键数据

  • Claude Opus 4.7 在 SWE-bench Verified 上达 87.6%
  • 但 Benchmark 高分 ≠ 实际好用——Answer.AI 测试 Devin 处理真实生产任务的成功率仅 15%(3/20)

解决什么问题:需要一个标准化的 Coding Agent 能力衡量尺度。

局限性:Benchmark 任务经过精心筛选,无法代表真实环境的模糊需求、未文档化依赖和上下文复杂度。


Benchmark Contamination(基准污染)

是什么:基准测试中的任务/答案/变体出现在模型的训练数据中,导致模型在基准上表现好但缺乏真实泛化能力。

解决什么问题(反而是制造问题):提示了仅看 Benchmark 分数的危险性——需要在实际项目中验证 Agent 能力。


Reflection / Reflexion Pattern(反思模式)

是什么:ReAct 循环中的侧循环——Agent 在收到验证信号(测试通过/失败、类型检查结果)后进行自我批评,分析失败原因并调整策略。

关键数据:Reflexion + GPT-4 在 HumanEval 上达 91% pass@1(对比无反思的 80%)。

适用条件

  • ✅ 有明确的通过/失败信号(测试、类型检查)
  • ✅ 失败模式是"差一点就对了"
  • ❌ 开放式生成任务(容易变成自我应验的偏见)
  • ❌ 成本敏感(反思约 2× Token 消耗)

11. 关键概念速查表

按字母排序

术语 一句话解释
A2A Google 的 Agent 间通信协议("AI 的 HTTP")
AG-UI Agent 与用户交互的协议标准
Agent 能自主调用工具、观察结果、调整策略的 LLM 循环系统
Agent Engineering 构建 Agent 运行环境(工具、权限、记忆、Hook)的工程
Agentic Coding Agent 自主完成编码任务,开发者异步接收结果
Agentic Engineering 用工程方法论编排 Agent 做开发(Karpathy 提出)
Agentic RAG Agent 自主决定何时检索、用什么工具检索
Benchmark Contamination 基准数据泄漏导致评分失真
CLAUDE.md / AGENTS.md 项目级 Agent 行为规则文件
Context Engineering 设计模型"看到什么信息"的系统方法
Context Rot 长上下文中模型对中间内容的记忆衰减
Context Window 模型单次处理的最大 token 数
DPO 跳过奖励模型直接用偏好数据优化 LLM(RLHF 的简化替代)
Embedding 文本的数值向量表示,用于语义搜索
GRPO 消除 Critic 模型的 RL 方法(DeepSeek-R1 使用)
Guardrails Agent 行为的硬性约束(权限边界、审批要求)
Harness 模型周围的所有基础设施(工具、权限、Hook、工作流)
Hooks Agent 操作前/后自动运行的确定性代码
Human-in-the-Loop 自动化流中嵌入人类审查决策点
LLM 基于 Transformer 的大规模语言模型
MCP Anthropic 的 Agent-工具通信标准协议("AI 的 USB-C")
Multi-Agent System 多个专业 Agent 协作完成复杂任务
Outer Loop 生成→验证→修复→重复的外部循环
Pre-training 在海量文本上训练模型预测下一个 token
Prompt Caching 缓存重复 prompt 前缀以降低延迟和费用
Prompt Engineering 设计和优化给 LLM 的输入指令
RAG 检索外部知识后再生成回答(减少幻觉)
ReAct Think-Act-Observe 循环的基础 Agent 架构
Reflection / Reflexion Agent 基于验证信号自我批评的侧循环
RLHF 用人类偏好反馈训练奖励模型优化 LLM
RLVR 用可自动验证的结果替代人工标注做 RL
SFT 用指令-回答对训练模型遵循指令
Spec-Driven Development 先写规约,AI 从规约推导实现
Sub-Agent 独立上下文窗口的子任务执行者
SWE-bench 评估 Coding Agent 的标准基准(基于真实 GitHub Issue)
Task Decomposition 将大任务拆分为 Agent 可处理的原子单元
Token 模型处理文本的最小单位
Tool Calling 模型输出结构化请求调用外部工具
Transformer 现代 LLM 的底层神经网络架构(2017)
Verification Loop 用自动化验证驱动 Agent 自我修正
Vibe Coding 用自然语言描述需求不完全审查代码(Karpathy 2025)

按演进时间线

2017 ─ Transformer 架构提出
2021 ─ GitHub Copilot 发布(代码补全时代开始)
2022 ─ ChatGPT 发布(对话式 AI 爆发)
2023 ─ DPO 提出(简化 RLHF)、ReAct 成为 Agent 标准架构
2024 ─ MCP 协议发布、Devin 引发 "AI 软件工程师" 热议
2025 ─ Vibe Coding(Karpathy)、A2A 协议(Google)、SWE-bench 成为标准
2025下 ─ Agentic Engineering(Karpathy)、Harness Engineering 概念成型
2026 ─ CLI Agent 爆发(Claude Code、Codex CLI、Gemini CLI)、多 Agent 编排成熟

本文档基于截至 2026 年 8 月的公开资料整理,信息来源包括:

  • calasius/coding-agents-evolution (GitHub)
  • Anthropic 官方文档与博客
  • Google A2A 协议文档
  • Simon Willison's Agentic Engineering Patterns
  • IBM Think / Glide / Morph / Tembo 技术博客
  • Amplifi Labs AI Coding Terms Glossary
  • agentpatterns.ai Ubiquitous Language for AI Plans
  • 各类学术论文(Reflexion, DPO, GRPO, RepoMem 等)
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容