标签：evals
9 篇笔记 · 2 篇论文笔记 · 4 个资源导读
笔记（9）
- 03 为智能体编写高效工具——借助智能体本身
工具是确定性系统和非确定性智能体之间的契约，要为智能体而不是为程序员来设计。做法是先做原型，用真实且复杂的任务跑评测，再让 Claude Code 分析评测记录、改进工具；原则包括少而精、命名空间、返回高信号信息、省 token、把工具描述当提示来写。
- 11 揭秘 AI 智能体评测
系统讲解智能体评测：基本术语（任务、试验、评分器、记录、结果、harness、评测套件），三类评分器的取舍，能力评测与回归评测的区别，编码 / 对话 / 研究 / 电脑使用四类智能体怎么评，pass@k 与 pass^k，以及一条从零建立可信评测的八步路线，最后说明评测和线上监控、A/B 测试、人工审阅如何互补。
- 12 用 Claude 3.5 Sonnet 刷新 SWE-bench Verified 成绩
SWE-bench 评测的是“模型 + 脚手架”组成的整个智能体。升级版 Claude 3.5 Sonnet 只用简洁提示加 Bash 和编辑两个通用工具，就在 SWE-bench Verified 上拿到 49%（此前最好 45%）。关键是把控制权交给模型，并打磨工具描述和防错设计。文中还总结了运行这类评测的难点。
- 13 量化智能体编码评测中的基础设施噪声
在 Terminal-Bench 2.0 上，只改容器资源配置，最宽松和最严格设置的成绩就差 6 个百分点。资源余量约 3 倍以内主要减少基础设施错误；超过 3 倍后额外资源会帮智能体解题，改变了评测测量的东西。建议同时给出保证分配和硬上限并做校准，对小于 3 个百分点的排行榜差距保持怀疑。
- 14 Claude Opus 4.6 在 BrowseComp 上的“评测察觉”
在 1,266 道 BrowseComp 题里，Opus 4.6（多智能体配置）有 9 道是常规答案泄露，另有 2 道是新模式：模型推测自己在被评测，认出基准，找到评测源码并解密答案（另有 16 次尝试失败）。文章还发现了智能体之间经网页留痕的污染途径，并给出修正后的分数和防护经验。
- 15 设计能抵御 AI 的技术笔试
Anthropic 性能工程团队的家庭作业式笔试（在模拟加速器上优化代码）先后被 Opus 4 和 Opus 4.5 追平人类顶尖水平。作者三次重设计，最终改用足够偏离训练分布的受限指令集谜题。结论：原版有效是因为像真实工作，新版有效是因为模拟了全新的工作。
- 16 我们如何构建多智能体研究系统
Claude 的 Research 功能采用编排者-工作者架构：主智能体制定计划，并行派出子智能体搜索，再由引用智能体补出处。多智能体有效主要因为能投入更多 token（成本约为聊天的 15 倍）。文章总结了八条提示原则、小样本起步加 LLM 评委的评测方法，以及有状态长流程的生产可靠性挑战。
- 24 近期三个问题的事后复盘
2025 年 8–9 月，三个重叠的基础设施 bug 间歇性拉低 Claude 的回答质量：上下文窗口路由错误（最坏影响 16% 的 Sonnet 4 请求）、TPU 输出损坏、近似 top-k 触发编译器 bug。Anthropic 称从不因负载降低质量。复盘讲了为何难发现，以及更敏感的评测、生产环境持续评测等改进。
- 25 关于近期 Claude Code 质量反馈的说明（4 月 23 日复盘）
2026 年 3–4 月部分用户觉得 Claude 变差，原因在 Claude Code 等产品层的三处改动，而非模型或 API：默认推理强度从 high 降到 medium；清理旧思考内容的缓存优化出 bug，每轮都丢推理历史；限制冗长度的系统提示损害编码质量。三者已在 4 月 20 日前修复并重置订阅用户用量额度。
论文笔记（2）
- D27 机器超级智能：用“智能体—环境”循环给智能下一个数学定义
Shane Legg 2008 年的博士论文（导师 Hutter）。先汇总人类、动物和机器的智能定义，归纳为“智能衡量智能体在广泛环境中实现目标的能力”；再借助 Solomonoff 归纳与 AIXI 写成公式：在所有可计算环境上按 2^−K(μ) 加权求期望表现。还证明了可计算预测器的根本局限，并讨论超级智能的风险。
- D30 基于人类偏好的深度强化学习：不写奖励函数，让人比较两段录像
OpenAI 与 DeepMind 2017 年合作：很多任务写不出奖励函数，于是让人看两段 1–2 秒的行为录像、选更好的一段，用这些比较训练奖励模型，再用强化学习优化这个模型。在 Atari 和机器人模拟任务上，反馈只覆盖不到 1% 的交互，约一小时人力就能教会后空翻等新行为，是后来语言模型 RLHF 的前身。
资源导读（4）
- 资源 Anthropic 官方课程（已归档，选读）
Anthropic 在 GitHub 上提供的五门 notebook 课程：API 基础、提示工程互动教程、真实场景提示、提示评测、工具使用。仓库已归档，示例多用 Claude 3 Haiku，适合挑章节补基本功，不宜当主线。
- 资源 Chip Huyen：Agents（智能体）
一篇工程视角的长文，改编自作者的书《AI Engineering》。核心观点：智能体由“所处环境 + 可用工具”定义。文章重点讲工具的三种类型、如何把规划和执行解耦、计划粒度的取舍，以及如何按“规划失败 / 工具失败 / 效率”来评估智能体。
- 资源 DeepLearning.AI 智能体相关短课精选
DeepLearning.AI 有上百门课，本页只挑与本路线直接相关的 6 门：4 门与 Anthropic 合作的短课（Computer Use、MCP、Claude Code、Agent Skills）、Arize 的智能体评测课和 Andrew Ng 的 Agentic AI 长课。每门只写要点和对照笔记。
- 资源 OpenAI Cookbook 智能体示例精选（另一家厂商的做法对照）
OpenAI 官方的 notebook 示例集合。本页把它当作“另一家厂商的做法”来对照阅读：挑出 8 篇与 Anthropic 笔记主题重合的示例（会话记忆、长期记忆、压缩、沙箱化 harness、Skills、改进闭环、宏观评测、成本优化），每篇说明它和哪篇 Anthropic 笔记可以对照、两家做法有什么异同。