跨项目(wiki/ + wiki/wswiki/ + py-rock/)的 LLM/Agent 操作浏览器相关内容汇总
一、工具栈全景
| 流派 | 代表项目 | 核心思路 | 痛点 |
|---|---|---|---|
| CDP Daemon | Browser Use 0.12+ | 弃 Playwright,CDP 持久后台 daemon,延迟 ~50ms,token 减 50% | 视觉路径延迟升至 15-20s |
| Zig 轻量引擎 | Lightpanda | 去 Layout/Paint,~20MB,<100ms 启动,CDP 兼容,一行替换 Playwright | 无坐标能力,反爬指纹差异 |
| Rust 原生引擎 | Obscura | deno_core V8 真实 JS,30MB 内存,85ms 加载,CDP 全兼容,Stealth 反检测 | 无 Blink 渲染,需 Rust 生态 |
| API 拦截 | OpenCLI | 绕过 GUI,拦截 API 请求生成 CLI 命令 | 纯 API 场景局限 |
| AI Native 测试 | Midscene.js | 自然语言描述意图,不 fetch DOM 不截图 | 生态较新 |
| Token 极致优化 | Jina MCP | 直接输出 Markdown,token 仅为 Playwright 的 1/196 | 静态文档局限 |
| CLI 二进制 | gstack / agent-browser | 编译为 CLI 二进制避免 MCP 协议开销 | 定制成本 |
| 传统框架 | Playwright / Puppeteer / Selenium | 脚本级自动化,E2E 测试主力 | 每次调用启闭 context,token 消耗大 |
二、关键数据
| 指标 | 数据 | 来源 |
|---|---|---|
| Browser Use WebVoyager 成功率 | 89.1%(586 真实网页任务) | browser-use-0.12 |
| Jina vs Playwright token 差 | 868 vs 170,310(196 倍,省 99.49%) | jina_opencode_token_196_0 |
| Browser Use 0.12 token 节省 | CDP daemon 比 Playwright 少 50% | browser-use-0.12 |
| Lightpanda 内存 | ~20MB vs 数百 MB(Chromium) | 43_lightpanda_zig_browser |
| Lightpanda 启动 | <100ms vs 3-5s | 43_lightpanda_zig_browser |
| Lightpanda 并发 | 100+ vs 5-10 实例 | 43_lightpanda_zig_browser |
| Browser Use 命令延迟 | ~50ms(CDP daemon 模式) | browser-use-0.12 |
| Browser Use 视觉路径延迟 | 15-20s(每步截图 + 推理) | browser-use-0.12 |
| Obscura 内存 | ~30MB vs 200MB+(Chrome) | obscura |
| Obscura 二进制体积 | ~70MB vs 300MB+(Chrome) | obscura |
| Obscura 页面加载 | ~85ms vs ~500ms(Chrome) | obscura |
| Obscura tracker 阻断 | 3520 个域名 | obscura |
三、知识库内已沉淀的实践
- Harness Engineering:Playwright + AI 自愈脚本做 E2E 验收
- Agent 浏览器会话管理:发现"反复启闭浏览器"问题后,沉淀为 AGENTS.md 规则——不关浏览器,用新 tab
- OpenClaw 五层架构的浏览器模块:Gateway -> Pi Agent -> Tools(browser) -> Context+Memory,基于 CDP 协议
- Browser Use 安全教训:0.12.5 因 litellm 供应链攻击紧急移除核心依赖
- Token 对比实验:Playwright vs Jina 实测数据留存
- AI Coding 交付:Playwright CLI 做用户视角的自动化验收
四、场景适配决策
| 场景 | 推荐方案 | 理由 |
|---|---|---|
| 稳定网站的固定路径自动化 | Playwright 几行脚本 | 低成本,高可靠 |
| 老旧表单 / 跨域嵌套 B 端工具 | Browser Use + 视觉定位 | CSS selector 不可靠 |
| 静态网页内容爬取 / 调研 | Jina MCP | token 成本仅 0.5% |
| 大规模并发解析 | Lightpanda | 20MB/实例,100+ 并发 |
| 真实 JS 渲染 + 低资源 + 反爬 | Obscura | 30MB 内存,V8 真实 JS,Stealth 反检测,3520 tracker 阻断 |
| Agent 决策 + 循环操作网页 | Browser Use CLI 2.0 | 可挂为 coding agent 的 skill |
| 避免 MCP 协议税的操作 | CLI 二进制(gstack 式) | 绕过 JSON Schema 编码开销 |
五、未来方向
趋同
- CDP 成为统一协议层 — Browser Use 弃 Playwright 用 CDP,Lightpanda 兼容 CDP,Obscura 原生 CDP,OpenClaw 浏览器模块也基于 CDP
- 视觉多模态取代 CSS Selector — Gemini 3 截图定位,解决动态 DOM / 跨域 iframe 等根本性问题
- Token 效率战争 — Playwright(全量 DOM)→ CDP daemon(激进裁剪,-50%)→ Jina(纯 Markdown,-99.5%)
- 轻量原生引擎崛起 — Rust (Obscura) + Zig (Lightpanda) 以 20-30MB 内存和 <100ms 启动挑战 Chromium 垄断
待解决
- MCP 序列化税 — 每次浏览器操作经 JSON Schema 编码/解码,token 浪费约 10 倍
- 视觉定位的高频成本 — 每步截图 + LLM 推理,高频场景不可承受
- 反爬对抗 — Lightpanda 指纹差异,Browser Use headless Chromium 特征
- 会话持久性 — 多轮 Agent 任务中浏览器状态管理和上下文复用
值得关注
- Browser Use 自训模型 bu-30b-a3b-preview
- Lightpanda Serverless 部署潜力(百毫秒冷启动,100+ 并发)
- OpenClaw ACP 协议 + ArkClaw 多场景实践(金融选题、评论收集、财报分析)
核心判断:Browser Use 解决了"Agent 能不能操控浏览器"的问题,下一阶段战场是 Token 效率 × 操作可靠性 × 成本可控 的三角平衡
参考来源
- [[wiki/entities/browser-use.md]]
- [[wiki/entities/obscura.md]]
- [[wiki/entities/claw-openclaw.md]]
- [[wiki/concepts/browser-engines.md]]
- [[raw/browser-use-0.12.md]]
- [[raw/43_lightpanda_zig_browser.md]]
- [[raw/jina_opencode_token_196_0.md]]
- [[raw/01_browser_automation_opencli.md]]
- [[raw/26_d2_harness_engineering.md]]
- [[wiki/21_wisesearch/05_aicoding/references/ai.md]]