标签：harness
4 篇笔记 · 0 篇论文笔记 · 0 个资源导读
笔记（4）
- 12 用 Claude 3.5 Sonnet 刷新 SWE-bench Verified 成绩
SWE-bench 评测的是“模型 + 脚手架”组成的整个智能体。升级版 Claude 3.5 Sonnet 只用简洁提示加 Bash 和编辑两个通用工具，就在 SWE-bench Verified 上拿到 49%（此前最好 45%）。关键是把控制权交给模型，并打磨工具描述和防错设计。文中还总结了运行这类评测的难点。
- 17 长时运行智能体的有效 harness
长任务要跨越多个上下文窗口，每个新会话都会“失忆”，仅靠压缩不够。解法分两部分：初始化智能体搭好环境（功能清单 JSON、进度文件、init.sh、初始 git 提交）；编码智能体每次只做一个功能、做端到端测试，并以干净状态收尾（提交并更新进度）。
- 18 面向长时应用开发的 harness 设计
借鉴 GAN 思路，把干活的生成者和打分的评估者分开，用评分标准让主观的设计质量可评分；再扩展成规划者-生成者-评估者三智能体，在多小时自主编码中构建全栈应用。随模型升级逐个拆掉多余组件后得出：评估者是否值得，取决于任务是否超出当前模型独立可靠完成的范围。
- 20 扩展 Managed Agents：把“大脑”和“双手”解耦
harness 编码了对模型能力的假设，这些假设会随模型升级过时。Managed Agents 借鉴操作系统虚拟化硬件的思路，把智能体拆成会话（只追加的事件日志）、harness（大脑）、沙箱（双手）三个稳定接口。解耦后各部分可替换，凭证不进沙箱，p50 首 token 延迟降约 60%、p95 降超过 90%。