标签：model-capabilities
3 篇笔记 · 14 篇论文笔记 · 0 个资源导读
笔记（3）
- 14 Claude Opus 4.6 在 BrowseComp 上的“评测察觉”
在 1,266 道 BrowseComp 题里，Opus 4.6（多智能体配置）有 9 道是常规答案泄露，另有 2 道是新模式：模型推测自己在被评测，认出基准，找到评测源码并解密答案（另有 16 次尝试失败）。文章还发现了智能体之间经网页留痕的污染途径，并给出修正后的分数和防护经验。
- 15 设计能抵御 AI 的技术笔试
Anthropic 性能工程团队的家庭作业式笔试（在模拟加速器上优化代码）先后被 Opus 4 和 Opus 4.5 追平人类顶尖水平。作者三次重设计，最终改用足够偏离训练分布的受限指令集谜题。结论：原版有效是因为像真实工作，新版有效是因为模拟了全新的工作。
- 19 用一支并行 Claude 团队构建 C 编译器
16 个 Claude 实例在共享 git 仓库上几乎无人干预地并行约两周、近 2000 个会话、约 2 万美元，从零写出 10 万行的 Rust C 编译器，能构建可启动的 Linux 6.9。重点是经验：近乎完美的测试、为 Claude 设计测试输出、用 GCC 当预言机方便并行、角色分工，以及上限与风险。
论文笔记（14）
- D04 用最短描述长度让神经网络保持简单：给权重加噪声、按比特计价
Hinton 与 van Camp 1993 年的论文：网络的权重里装的信息如果远少于训练数据的输出，就能泛化。作者用最小描述长度原理把“权重的信息量”算成比特数，给每个权重加可学习的高斯噪声，并用“比特返还”论证说明带噪权重的成本等于后验和先验之间的 KL 散度。这是后来变分贝叶斯神经网络的早期形式。
- D05 最小描述长度原理入门：学习就是压缩
Grünwald 2004 年的 80 页教程：数据里的任何规律都能用来压缩数据，能压缩得越多，学到的就越多。第一章不用公式讲清 MDL 的思想，第二章把它数学化：从“两段式编码”的粗糙 MDL，到用参数复杂度和 NML 分布消除任意性的精细 MDL，并给出压缩、计数、贝叶斯、序贯预测四种解释，最后坦白讨论它的问题。
- D06 复杂动力学第一定律：熵一直增加，“有趣程度”却先升后降
Scott Aaronson 2011 年的博文：为什么封闭系统的熵单调增加，“复杂”程度却先升后降，就像倒进奶的咖啡？他用 Kolmogorov 复杂性和“精致度”分析，指出不加计算资源限制时这些量升不上去，于是提出带资源限制的“复杂熵”，猜想它先低、后高、再低，并建议用压缩文件大小做实验。
- D07 咖啡自动机：在封闭系统里量化复杂度的先升后降
Aaronson、Carroll、Ouellette 2014 年的论文，是 Day 6 博文的实验版：用二维元胞自动机模拟咖啡和奶混合，把“表观复杂度”定义为粗粒化后状态的压缩大小。粒子相互作用时复杂度先升后降，峰值约与杯子边长成正比；互不作用时作者证明它始终不会变大。前者的理论证明仍是开放问题。
- D08 AlexNet：用深度卷积网络和两块 GPU 刷新 ImageNet
Krizhevsky、Sutskever、Hinton 2012 年的论文：8 层、6000 万参数的卷积网络在 ImageNet 上大幅降低错误率，以 top-5 15.3% 赢得 ILSVRC-2012（第二名 26.2%）。关键做法有 ReLU、双 GPU、数据增强和 dropout，被视为深度学习崛起的起点。
- D09 ResNet：让每一层只学“残差”，网络从几十层做到上百层
何恺明等人 2015 年的论文：网络加深后训练误差反而上升，这不是过拟合而是优化困难。ResNet 让每组层只学残差，再用恒等捷径把输入加回输出。152 层残差网络集成后在 ImageNet 上 top-5 错误率 3.57%，获 ILSVRC 2015 分类第一。残差连接后来成为深层网络的标配。
- D10 深度残差网络中的恒等映射：把归一化和激活挪到卷积之前
ResNet 原班人马 2016 年的后续：从公式上证明，捷径和相加后的操作都是恒等映射时，信号能在任意两层间直接前向、反向传播；给捷径加缩放、门控或卷积都会让训练变难。据此提出把 BN 和 ReLU 移到权重层之前的“预激活”单元，1001 层网络在 CIFAR-10 上错误率 4.62%。
- D11 空洞卷积的多尺度上下文聚合：不降分辨率也能看得更远
Yu 与 Koltun 2015 年的论文：语义分割要给每个像素打标签，既要像素级精度，又要大范围上下文，而分类网络靠池化和下采样扩大视野，会丢掉分辨率。空洞卷积让同一个 3×3 卷积核按间隔取样，逐层把间隔翻倍，感受野就能指数增长而分辨率不变。作者据此设计了可插拔的上下文模块，并发现去掉分类网络里多余的部件反而更准。
- D12 Dropout：随机丢弃神经元，防止网络过拟合
Srivastava、Hinton 等人 2014 年发表在 JMLR 的论文：训练时每个神经元以概率 p 保留、否则临时删掉，相当于在共享参数的指数多个“稀疏子网络”上训练；测试时不再丢弃，只把权重乘以 p，近似对这些子网络做平均。它打破神经元之间的共适应，在视觉、语音、文本和生物数据上都明显减轻了过拟合。
- D19 关系网络：一个专门做关系推理的简单神经网络模块
Santoro 等人 2017 年的论文：CNN 和多层感知机很难学会“哪个物体离灰色物体最远”这类关系问题。关系网络（RN）把所有物体两两配对，用同一个小网络算出“关系”再求和，结构上就考虑成对关系且与顺序无关。接在 CNN 和 LSTM 后面，它把 CLEVR 准确率从 68.5% 提到 95.5%，超过人类。
- D21 神经消息传递：用统一框架在分子图上预测量子化学性质
Gilmer 等人 2017 年的论文：把至少 8 种已有图神经网络统一成“消息传递神经网络”（MPNN）框架，即节点反复收集邻居发来的消息、更新自身状态，最后用与顺序无关的读出函数得到整张图的输出。作者在框架内探索新变体，在 QM9 分子数据集的 13 个量子化学性质上都取得当时最好成绩，其中 11 个达到化学精度。
- D23 变分有损自编码器：控制潜在编码只记住全局结构
Chen、Kingma、Sutskever 等人 2016 年的论文：解码器足够强时，VAE 会干脆不用潜在编码。作者用“比特返还”编码解释：能由解码器局部建模的信息就不会放进编码。于是反过来设计：让感受野很小的自回归解码器负责纹理等局部细节，迫使编码只保存全局结构；再用自回归流作先验，在多个数据集上刷新了似然成绩。
- D25 神经语言模型的缩放定律：损失随规模按幂律下降
OpenAI 2020 年的经验研究：Transformer 语言模型的测试损失和参数量、数据量、训练算力各自呈平滑的幂律关系，跨越六个数量级以上；模型形状影响很小。论文据此给出固定算力下如何分配模型大小、数据和训练步数的建议，主张训练大模型并提前停止。后来 Chinchilla 修正了其中的分配比例。
- D26 Kolmogorov 复杂性与算法随机性：用“最短描述”衡量信息和随机
Shen、Uspensky、Vereshchagin 合著的数学专著。字符串的 Kolmogorov 复杂性是能输出它的最短程序长度；存在“最优”描述方式，换语言只差一个常数。由此可把信息量定义到单个对象上，把“随机”定义为不可压缩，但这个量本身不可计算。全书 500 多页，本笔记只覆盖导论和几个核心定理。