标签：transformer

论文笔记（4）

1. D13 Attention Is All You Need：只用注意力的 Transformer · P2 · 9 分钟

   Transformer 的原始论文：去掉循环和卷积，只用缩放点积注意力、多头注意力、位置编码和逐位置前馈层搭出编码器—解码器。任意两个位置一步相连、训练可完全并行，代价是计算量随序列长度平方增长。今天的大模型都从这里来。

   • transformer
   • attention
   • context-window
   • ml-foundations
2. D14 The Annotated Transformer：把论文逐段变成可运行代码 · P2 · 7 分钟

   哈佛 NLP 组的“带注释的 Transformer”：按论文顺序，一段原文配一段 PyTorch 代码，从注意力、掩码、位置编码一路写到训练循环、学习率预热、标签平滑和贪心解码，再用复制任务和德英翻译跑通。读它是为了把 Day 13 的每个公式落到张量形状上。

   • transformer
   • attention
   • ml-foundations
3. D24 GPipe：把模型切段、把批次切片，用流水线并行训练超大网络 · 补完 · 9 分钟

   Google 的 Huang 等人 2018 年提出的流水线并行库：把任何“层序列”网络切成 K 段放到 K 个加速器上，每个小批量再切成 M 个微批量依次流过各段，梯度在小批量结束时同步更新，并重算激活以省显存。M ≥ 4K 时空等开销几乎可忽略。作者用它训练了 5.57 亿参数的图像模型和 60 亿参数的翻译模型。

   • infrastructure
   • scaling-laws
   • transformer
   • ml-foundations
4. D25 神经语言模型的缩放定律：损失随规模按幂律下降 · P4 · 7 分钟

   OpenAI 2020 年的经验研究：Transformer 语言模型的测试损失和参数量、数据量、训练算力各自呈平滑的幂律关系，跨越六个数量级以上；模型形状影响很小。论文据此给出固定算力下如何分配模型大小、数据和训练步数的建议，主张训练大模型并提前停止。后来 Chinchilla 修正了其中的分配比例。

   • scaling-laws
   • model-capabilities
   • transformer
   • ml-foundations