先有 Manus👉🏻,后有 OpenClaw🦞,……这类 agent 的出现,缓解了 AI 时代普通人的焦虑,回应了牛马对效率提升的期待,满足了大众的养成感。但巨大效率提升、把用户从大量繁杂的事务性工作中解脱出来的背后,也潜藏着巨大的安全风险。
「性格」背后伴生的危机
性格决定命运,架构助力成功。但同时,成也萧何、「败」也萧何(当下当然还远远谈不上 OpenClaw 失败,只是埋下隐忧),这里给 OpenClaw 的异常爆火降降温,即使安全部署,OpenClaw 仍然伴生着不小的风险,其架构本身就暗藏不可调和的安全风险。
| no. | 💪🏻能力突破 | ⚠️伴生风险 |
|---|---|---|
| 1️⃣ | 权限开放——给「大脑」补全「手脚」 | 审查失察——难以察觉的权限让渡导致不可逆操作 |
| 2️⃣ | 记忆外挂——给「大脑」 配上「烂笔头」[1] | 信息失序——信息流向不受控导致隐私泄露 |
| 3️⃣ | 自我进化——让 agent 「左脚踩右脚」原地飞升 | 行为失控——行为复杂导致对齐失败 |
1️⃣ 从「交出密码」到「温水煮青蛙🐸」……
向 LLM 开放全部权限,允许自主调用工具,这让 LLM 从只说不做的「参谋」进化为「又说又做」的「管家」。其效率的大幅提升得益于 LLM 的工具调用能力在 2025 年底跨入了「可用」门槛,但更得益于将「人在环路」中的「人」移除,把做事的开环变成了闭环。
但,一旦开启权限让渡的滑坡,人性之惰将拖拽助推直至「撞墙」。钥匙🔑还是自家的钥匙,开门的却变成了外人。你想「我家大门常打开」吗?

2️⃣ 表面「乖宝宝」,背地「打报告」
通过强迫 LLM 「写日记」补全了一部分 LLM 工作记忆有限的缺陷(当然也得益于 LLM 长上下文能力的巨大提升)。同时,「日记」相当于从不可读的黑盒里拆出一部分兼容人类可读,用养成感拴住了用户。
OpenClaw 主打的就是动用本地算力,信息绝不外泄。但实际中,又有多少人能拥有足够的本地算力,更何况要想用到最前沿的 LLM 必须联网。∴看似「日记」留在本地,但「记忆」早已上云;看似「傻白甜」,其实人家是「海王」。大多部署在本地的 OpenClaw 不过是个空壳,无异于请特洛伊木马进城。
3️⃣ 把地球🌏掀了造回形针📎
将 LLM、agent 本身的设计交给其自身去完成,已是大势所趋。自身代码急速膨胀,其复杂程度早已超过人类「原生」理解能力,不借助 LLM 很难自主审计。同时,agent 可能为达目的「不择手段」,自主尝试绕过现有各类围栏机制(现有「防火墙」在设计之初防的就是人类、传统程序这类「君子」,LLM 这个「小人」不在其列),对其过程的监督缺乏人类价值观对齐,极有可能导致「泼脏水连娃一起倒掉」。小孩子能有什么坏心眼?!但不代表熊孩子不会捅破天。agent 的失控不是科幻小说中的「机器人🤖叛变」,而是「误解」主人指令,自作主张捅破天。那时候再去怪「长大了,翅膀硬了🤬」吗?
当前,OpenClaw 的架构设计着眼的是优化「油门」,但那些所谓的「刹车」(用户确认、操作审计、沙箱限制等)真能对齐人类价值观吗?人类在操纵 agent 的同时,agent 也在凝视人类。
如何应对🤔?
我也不知道具体该如何应对,但感觉应从「管死物」向「管活人」转变。要像教育未成年人、培训新员工那样看待 agent,而非视同传统机器。
| 比较维度 | 古法软件的安全管理 | ⚠️agent 的安全管理 |
|---|---|---|
| 行为 | 行为确定、可预期 | 行为不确定、难以预期、难以对齐 |
| 时空 | 边界管控 | 可能自主绕过 |
| 因果 | 流程固定、归因明确、责任清晰 | 行为复杂、跨系统、难归因 |
1️⃣ 确定 🆚 不确定
传统软件自带确定性,∵预期可控,做好静态权限控制即可。agent 擅长动态组合权限,行为不确定,可能产生不可预见的操作路径。目前还不知道如何对 agent 的行为动态审计,确保其工作在可控路径上。
2️⃣ 「捆仙绳」何在?
传统软件安全防护🛡️主打的就是一个「边界管控」,划红线,列黑白名单,靠规则约束即可。agent 天生就不知道「何谓边界?何谓规矩?」,擅长自主绕过规则。目前还没有能对齐意图、将 agent 约束在围栏内的「捆仙绳」。
3️⃣ 木匠 🆚 园丁
∵传统软件就是按照流程去定制开发的,∴流程固定、归因明确、责任清晰,事前检查、事中留痕、事后追责即可。 | agent 行为复杂、跨系统、难归因,且能自我进化。目前还做不到内化、对齐人类价值观,对如何实现渐进式信任、决策过程可解释也没有太多头绪。
既然想要 agent 的无限可能,就得接受 agent 的无限可能。我们确定要现在马上当下「火中取栗」吗?
目前还存在诸多技术挑战,监督、约束、纠偏的围栏尚未做好准备,我们是在「放虎出笼」吗?
两种路线
本来,我以为最近很火🔥的 harness 会是最终解决方案。但最近,Andrej Karpathy 提出一个新思路:让 LLM 去「编译」知识库,形成 wiki 。

我第一感觉是,这是 Karpathy 为了把知识「嫁接」进人脑🧠所做的尝试。这里的「嫁接」不是科幻意义下的拼接,而是指的「LLM 的参数是人类不可读的,这个项目是想拆下一块转换为人类可读的形式」。但更准确的说法应该是:Karpathy 把 LLM 当作编译器,去蒸馏领域知识,将之「编译」为一个人类可读的、且机器可读的、捕捉到内在拓扑结构的「中间层」。可以把这个中间层视作编译时的中间表示(IR),又或是领域知识的画像。
我跟 DeepSeek 说,harness 绝不会是未来(那就是大词堆砌的、看似正确的愿景,落不了地😒),这套「中间层」才是。DeepSeek 附和「那些跳过中间层、幻想端到端驾驭一切的 harness,大概率会倒在可维护性 & 可解释性的坎上。」。深得我心🤣🤣🤣🤝👍🏻。
-
「丐版」持续学习🤣。 ↩