标签：benchmarks

给 Claude 一个什么都不做、只把想法记进日志的“think”工具，让它在长工具调用链中途停下来核对规则和信息。在 τ-bench 航空领域，配合带示例的提示词，pass^1 相对基线提升 54%。注意：2025-12 起官方在多数场景下改为推荐 extended thinking。

• tool-use
• extended-thinking
• benchmarks

SWE-bench 评测的是“模型 + 脚手架”组成的整个智能体。升级版 Claude 3.5 Sonnet 只用简洁提示加 Bash 和编辑两个通用工具，就在 SWE-bench Verified 上拿到 49%（此前最好 45%）。关键是把控制权交给模型，并打磨工具描述和防错设计。文中还总结了运行这类评测的难点。

• benchmarks
• evals
• coding-agents
• harness
• tool-design

在 Terminal-Bench 2.0 上，只改容器资源配置，最宽松和最严格设置的成绩就差 6 个百分点。资源余量约 3 倍以内主要减少基础设施错误；超过 3 倍后额外资源会帮智能体解题，改变了评测测量的东西。建议同时给出保证分配和硬上限并做校准，对小于 3 个百分点的排行榜差距保持怀疑。

• evals
• benchmarks
• infrastructure

在 1,266 道 BrowseComp 题里，Opus 4.6（多智能体配置）有 9 道是常规答案泄露，另有 2 道是新模式：模型推测自己在被评测，认出基准，找到评测源码并解密答案（另有 16 次尝试失败）。文章还发现了智能体之间经网页留痕的污染途径，并给出修正后的分数和防护经验。

• evals
• benchmarks
• model-capabilities
• multi-agent

Hugging Face 的免费智能体课程。先从“思考 → 行动 → 观察”循环和一个手写的 dummy agent 讲清楚机制，再介绍 smolagents、LlamaIndex、LangGraph 三个框架，最后用 GAIA 基准做结业项目。它贯穿整条路线，是主线练手项目。