标签：infrastructure
4 篇笔记 · 2 篇论文笔记 · 0 个资源导读
笔记（4）
- 13 量化智能体编码评测中的基础设施噪声
在 Terminal-Bench 2.0 上，只改容器资源配置，最宽松和最严格设置的成绩就差 6 个百分点。资源余量约 3 倍以内主要减少基础设施错误；超过 3 倍后额外资源会帮智能体解题，改变了评测测量的东西。建议同时给出保证分配和硬上限并做校准，对小于 3 个百分点的排行榜差距保持怀疑。
- 20 扩展 Managed Agents：把“大脑”和“双手”解耦
harness 编码了对模型能力的假设，这些假设会随模型升级过时。Managed Agents 借鉴操作系统虚拟化硬件的思路，把智能体拆成会话（只追加的事件日志）、harness（大脑）、沙箱（双手）三个稳定接口。解耦后各部分可替换，凭证不进沙箱，p50 首 token 延迟降约 60%、p95 降超过 90%。
- 24 近期三个问题的事后复盘
2025 年 8–9 月，三个重叠的基础设施 bug 间歇性拉低 Claude 的回答质量：上下文窗口路由错误（最坏影响 16% 的 Sonnet 4 请求）、TPU 输出损坏、近似 top-k 触发编译器 bug。Anthropic 称从不因负载降低质量。复盘讲了为何难发现，以及更敏感的评测、生产环境持续评测等改进。
- 26 在 Anthropic 重新设计源代码控制
写代码不再是瓶颈后，瓶颈转到为人类规模设计的开发基础设施：Anthropic 每天合并的变更从 2026 年 5 月约 2,500 个增至 9 月 3 万多个。7 人团队用 5 个月自研版本控制系统 Scion 并迁移整个 monorepo，客户端始终在线、提交无锁；基础设施缩小 200 倍，检出快两个数量级。
论文笔记（2）
- D24 GPipe：把模型切段、把批次切片，用流水线并行训练超大网络
Google 的 Huang 等人 2018 年提出的流水线并行库：把任何“层序列”网络切成 K 段放到 K 个加速器上，每个小批量再切成 M 个微批量依次流过各段，梯度在小批量结束时同步更新，并重算激活以省显存。M ≥ 4K 时空等开销几乎可忽略。作者用它训练了 5.57 亿参数的图像模型和 60 亿参数的翻译模型。
- D28 CS231n 卷积神经网络讲义：卷积层、池化层与网络尺寸的计算
斯坦福 CS231n 的卷积网络讲义，主要由 Andrej Karpathy 撰写。讲清卷积层的三个设计：局部连接、按深度切片共享参数、用步长和零填充控制输出尺寸，给出公式 (W−F+2P)/S+1；再讲池化层、全连接层改写成卷积层、常见的层堆叠模式，用 VGGNet 逐层算内存和参数，最后讨论显存瓶颈。