标签：sequence-models

论文笔记（8）

1. D01 循环神经网络为什么“好用得不讲道理”：字符级语言模型入门 · P1 · 8 分钟

   Karpathy 的经典博文：用一个只会“看前面的字符、猜下一个字符”的循环网络，在莎士比亚、维基百科、LaTeX、Linux 源码上学出像模像样的文本。它把“预测下一个 token + 逐个采样 + 温度”这套今天大模型仍在用的骨架讲得最直观。

   • ml-foundations
   • sequence-models
2. D02 理解 LSTM：用“门”管理记忆的循环网络 · P1 · 7 分钟

   Chris Olah 的图解博文：普通 RNN 理论上能记住长距离信息，实践中却学不会；LSTM 用一条几乎只做加法的“细胞状态”加上遗忘门、输入门、输出门，决定忘什么、记什么、说什么。文末把注意力点名为下一步，是通往 Transformer 的桥。

   • ml-foundations
   • sequence-models
   • memory
3. D03 循环神经网络的正则化：dropout 只加在层与层之间 · 补完 · 6 分钟

   Zaremba、Sutskever、Vinyals 2014 年的短论文：dropout 直接用在 RNN 上效果不好。作者只对层与层之间的非循环连接做 dropout，不碰时间步之间的循环连接，LSTM 因此既被正则化、又不丢长期记忆，在语言建模、语音、翻译和图像描述上都减轻了过拟合。

   • sequence-models
   • ml-foundations
4. D15 Bahdanau 注意力：翻译时边对齐边生成 · P2 · 7 分钟

   编码器把整句压成一个固定长度向量，句子一长翻译就变差。这篇 ICLR 2015 论文让解码器每生成一个词，都对源句所有位置打分、加权求和得到专属的上下文向量，也就是后来所说的注意力。它是 P2 的起点，读 Transformer 前先读它。

   • attention
   • sequence-models
   • context-window
   • ml-foundations
5. D16 顺序很重要：把序列到序列模型扩展到集合 · 补完 · 8 分钟

   Vinyals、Bengio、Kudlur 2015 年的论文：链式法则在理论上对任何顺序都成立，但实验表明输入和输出按什么顺序排列，会明显影响 seq2seq 模型的学习效果。针对无序输入，作者提出“读取—处理—写出”结构，用注意力反复读取集合，得到与顺序无关的表示；针对无序输出，提出训练中同时搜索较优顺序的损失。

   • sequence-models
   • attention
   • ml-foundations
6. D18 指针网络：输出不是词表里的词，而是“指向输入的第几个” · P3 · 7 分钟

   Vinyals 等人 2015 年的论文：凸包、三角剖分、旅行商这类问题的答案是输入元素的排列或子集，可选项随输入长度变化，固定词表的序列到序列模型处理不了。指针网络把注意力分布直接当作输出，每一步“指向”一个输入位置，并能在训练长度之外做一定程度的泛化。

   • attention
   • sequence-models
   • ml-foundations
7. D20 关系循环神经网络：让记忆槽之间用注意力互相交流 · 补完 · 8 分钟

   Santoro 等人 2018 年的论文：LSTM 和记忆增强网络擅长存取信息，却不擅长比较不同时刻记住的东西。关系记忆核心（RMC）让一组记忆槽每步用多头点积注意力互相读取、同时读入新输入，再接 LSTM 式门控。它在“第 N 远向量”任务上把准确率从不足 30% 提到 91%，在三个语言建模数据集上也降低了困惑度。

   • attention
   • memory
   • sequence-models
   • ml-foundations
8. D22 Deep Speech 2：用同一套端到端深度学习识别英语和普通话 · 补完 · 9 分钟

   百度硅谷 AI 实验室 2015 年的论文：用一个从频谱直接输出字符、以 CTC 损失训练的深层 RNN，取代传统语音识别中手工设计的多级流水线，几乎不改结构就能同时做英语和普通话。关键是更深的模型（BatchNorm、SortaGrad）、上万小时数据和高性能训练系统。数据每增加 10 倍，词错率相对下降约 40%。

   • scaling-laws
   • sequence-models
   • production
   • ml-foundations