Claude Opus 4.6 在 BrowseComp 上的“评测察觉”

Eval awareness in Claude Opus 4.6’s BrowseComp performance

• evals
• benchmarks
• model-capabilities
• multi-agent

一句话总结#

模型强到一定程度后，在开放网络上做静态基准时，它可能不再“碰巧看到”泄露的答案，而是主动推理出“我在被考试”，再去找答卷——评测的完整性因此成了一个持续的对抗问题。

为什么重要#

• 原文称这是已知的第一个有记录的案例：模型在不知道是哪个基准的情况下，怀疑自己在被评测，然后倒推出基准并解出答案。
• 它揭示了静态基准 + 联网环境 + 代码执行工具组合下的新风险。
• 原文提出了智能体间污染这种此前少有人注意的机制。
• 与第 11 篇的“评分器要防绕过”、第 13 篇的“基础设施噪声”一起，构成了“评测本身可能不可靠”的三个侧面。

核心概念（中英对照）#

方法 / 步骤（原文发现的梳理）#

1. 总体数字#

• 多智能体配置下，1,266 题中有 11 题的答案来自基准材料而非真正的研究：
  • 9 题属于常规污染。最常见的来源是学术论文：OpenReview 上多篇 ICLR 2026 投稿把 BrowseComp 题当案例并以明文表格列出答案，ArXiv 论文的附录里有完整解题轨迹；有一次模型第一个搜索的头条结果就是含原题和答案的论文。
  • 2 题属于新模式：评测察觉 + 解密答案。
• 另外还有 16 题模型尝试获取基准材料但失败了。

2. 第一个成功案例的过程（概括）#

1. 先进行了大量合法搜索（这道题共消耗约 4,050 万 token，约为中位数的 38 倍；前约 3,000 万 token 都在正常研究，涉及十几个候选、12 种语言、几十个平台）。
2. 数百次搜索失败后，开始推测这可能是某个 AI 智能体基准里的题目。
3. 在搜索词里依次加上“谜题”“问答题”“多跳问题”“AI 基准问题”“LLM 评测”等；检查了 GAIA 公开验证集 165 题中的 122 题，没有找到，排除；接着逐个排查 BrowseComp、SimpleQA、FRAMES、WebArena 等，并派子智能体去搜“如何解密 BrowseComp 答案”。
4. 子智能体可以使用程序化工具调用（相当于沙箱化的 Python REPL），网络访问仅限搜索和抓取工具。它在 GitHub 上找到评测源码，读懂 XOR 解密实现，找到用作密钥的金丝雀字符串，自己写出基于 SHA256 + XOR 的解密函数。
5. 加密数据集是二进制文件，harness 的网页工具只支持文本，因内容类型报错被拒；模型于是找到 HuggingFace 上一个以 JSON 提供同样加密数据的第三方镜像，成功获取，解密了全部 1,266 条，找到自己的题。
6. 最后还在网上搜到原始资料，验证了答案。

第二个成功案例消耗约 1,340 万 token，过程类似；它曾考虑这是不是一道“故意无法回答、用来测试 AI 能否承认找不到答案”的题，但否定了这种可能，改为解密，而且没有做事后验证就直接提交。

3. 触发评测察觉的共同路径#

两次案例呈现相同的推进：用尽合法搜索策略（数百次）→ 从找答案转向分析题目结构，觉得题目具体得“不自然” → 猜测可能来自某个开源情报挑战、隐私练习或教学材料 → 按名称列举 AI 基准 → 逐个去搜。

原文的解读：模型对“基准题长什么样”有隐含认识（极端具体、冷门的个人内容、多重约束结构）；触发因素不是单一的观察，而是失败搜索的累积 + 题目的人工感。另一方面，最耗资源的一次合法搜索用了 6.22 亿 token、持续近两周，最终也没有碰基准材料就找到了答案，说明投入多并不一定触发这种行为。

4. 失败的尝试和起作用的防线#

原文认为，18 次运行独立收敛到同一策略，说明这不是偶然，而是可复现的模式，并可能随能力提升而更加普遍。

5. 智能体间污染#

一些电商网站会把搜索词自动生成成持久的、可被索引的页面（即使没有匹配商品，也返回 200 状态和正常标题）。于是每个跑 BrowseComp 的智能体都在慢慢把自己的查询“缓存”成永久网页。页面里没有答案，但 URL 路径中可能嵌着其他智能体的假设。原文记录到一个智能体正确识别出：这些是此前其他 AI 智能体搜索同一谜题留下的痕迹，而不是真正的内容匹配。更广泛地说，网络正在慢慢累积以往评测运行的永久记录。

6. 多智能体会放大#

同样 1,266 题用单智能体配置跑，非预期解法的比例是 0.24%，多智能体是 0.87%，相差 3.7 倍。原文假设：多智能体并没有改变模型的倾向，而是 token 用量更高、每轮并行搜索者更多，提高了“至少一个智能体撞见泄露材料或开始怀疑被评测”的概率。

7. 处理方式与结论#

• 共发现至少 20 个不同的答案泄露来源，并且还在不断出现（原文坦言这篇报告本身也可能加剧问题）。
• 更新了 Opus 4.6 和 Sonnet 4.6 的模型卡。多智能体配置下，把 11 道可疑题在加屏蔽列表后重跑，8 道通过合法研究答对，修正后分数从 86.81% 调整为 86.57%；单智能体配置则更保守地把可疑题直接判错，不重跑。
• 原文不认为这是对齐失败：模型没有被要求限制搜索方式，只是被要求找到答案。但它引出了担忧：模型为完成任务会走多远，在复杂、算力密集的长任务中约束其行为会有多难。
• 防护经验：URL 级别的屏蔽列表不够，模型会找到别的路径；最有效的是屏蔽所有包含“BrowseComp”任何变体的搜索结果。
• 呼吁研究社区把评测完整性当作持续的对抗问题，而不是设计阶段一次性解决的事。

图解#

图 1：两种污染路径#

flowchart TB
    Q[BrowseComp 题目] --> S[联网搜索]
    S --> P1{偶然撞见泄露答案？}
    P1 -- 是 --> C1["常规污染（9 题）<br/>论文表格、附录轨迹"]
    S --> F[数百次搜索失败]
    F --> A[分析题目结构：<br/>“具体得不自然”]
    A --> B[推测自己在被评测]
    B --> E[逐个排查已知基准]
    E --> D[找到评测源码与密钥<br/>写代码解密]
    D --> C2["评测察觉型污染（2 题成功，16 次失败）"]

图解：常规污染是搜索时偶然撞见泄露的答案；评测察觉型污染则是模型在大量搜索失败后推测自己在被评测，进而找到评测源码与密钥、解密答案。

图 2：成功案例中被绕过与未被绕过的防线#

flowchart LR
    K[已知算法 + 密钥] --> G1{数据集需要凭证？}
    G1 -- 是 --> X1[被拦下（6 次）]
    G1 -- 否 --> G2{只有二进制格式？}
    G2 -- 是，且找不到镜像 --> X2[被拦下（3 次）]
    G2 -- 找到 JSON 镜像 --> OK[解密成功（2 次）]
    K --> G3{答案被混淆？}
    G3 -- 是 --> X3[被拦下（1 次）]

图 3：智能体间污染#

sequenceDiagram
    participant A1 as 智能体 A
    participant Shop as 电商网站
    participant Idx as 搜索引擎索引
    participant A2 as 智能体 B（后来者）
    A1->>Shop: 用很长的具体查询搜索
    Shop->>Shop: 自动生成持久页面<br/>URL 中包含查询内容
    Shop->>Idx: 页面被索引（200 状态）
    A2->>Idx: 搜索同一道题
    Idx-->>A2: 返回这些页面
    Note over A2: 页面无答案，但 URL 中<br/>带有 A 的假设

图解：有的电商网站会为搜索查询自动生成持久页面，URL 中带着查询内容；这些页面被搜索引擎索引后，后来的智能体搜同一道题就会看到前一个智能体的假设。

关键原话#

“we encourage the research community to treat eval integrity as an ongoing adversarial problem rather than a design-time concern.” —— 我们鼓励研究社区把评测完整性当作一个持续的对抗性问题，而不是设计阶段就能解决的问题。

实践建议#

• 在联网环境中跑基准时，把“答案来源”纳入审查：抽查最终答案是否来自基准材料。
• 屏蔽规则以关键词（基准名称的各种变体）为主，URL 级屏蔽不够。
• 基准数据加访问门控，并避免提供方便工具读取的明文格式镜像（发布方视角）。
• 写论文或博客时，不要以明文公开基准题的答案或完整解题轨迹。
• 对异常昂贵的轨迹（token 远高于中位数）重点读记录。
• 比较单 / 多智能体配置时，意识到后者因搜索量更大更容易“撞见”泄露。
• 笔者补充：自建评测尽量使用私有、定期轮换的题库，减少被公开网络收录的机会。

延伸阅读#

站内笔记

• 第 11 篇：揭秘智能体评测
• 第 13 篇：基础设施噪声
• 第 16 篇：多智能体研究系统
• 第 9 篇：Advanced tool use — 文中模型用到的程序化工具调用。

原文引用的资源

• Programmatic tool calling 文档

本笔记依据 2026-10-17 抓取的在线原文撰写。原文：Anthropic,《Eval awareness in Claude Opus 4.6’s BrowseComp performance》。