标签：scaling-laws
0 篇笔记 · 3 篇论文笔记 · 0 个资源导读
论文笔记（3）
- D22 Deep Speech 2：用同一套端到端深度学习识别英语和普通话
百度硅谷 AI 实验室 2015 年的论文：用一个从频谱直接输出字符、以 CTC 损失训练的深层 RNN，取代传统语音识别中手工设计的多级流水线，几乎不改结构就能同时做英语和普通话。关键是更深的模型（BatchNorm、SortaGrad）、上万小时数据和高性能训练系统。数据每增加 10 倍，词错率相对下降约 40%。
- D24 GPipe：把模型切段、把批次切片，用流水线并行训练超大网络
Google 的 Huang 等人 2018 年提出的流水线并行库：把任何“层序列”网络切成 K 段放到 K 个加速器上，每个小批量再切成 M 个微批量依次流过各段，梯度在小批量结束时同步更新，并重算激活以省显存。M ≥ 4K 时空等开销几乎可忽略。作者用它训练了 5.57 亿参数的图像模型和 60 亿参数的翻译模型。
- D25 神经语言模型的缩放定律：损失随规模按幂律下降
OpenAI 2020 年的经验研究：Transformer 语言模型的测试损失和参数量、数据量、训练算力各自呈平滑的幂律关系，跨越六个数量级以上；模型形状影响很小。论文据此给出固定算力下如何分配模型大小、数据和训练步数的建议，主张训练大模型并提前停止。后来 Chinchilla 修正了其中的分配比例。