标签：attention

论文笔记（7）

1. D13 Attention Is All You Need：只用注意力的 Transformer · P2 · 9 分钟

   Transformer 的原始论文：去掉循环和卷积，只用缩放点积注意力、多头注意力、位置编码和逐位置前馈层搭出编码器—解码器。任意两个位置一步相连、训练可完全并行，代价是计算量随序列长度平方增长。今天的大模型都从这里来。

   • transformer
   • attention
   • context-window
   • ml-foundations
2. D14 The Annotated Transformer：把论文逐段变成可运行代码 · P2 · 7 分钟

   哈佛 NLP 组的“带注释的 Transformer”：按论文顺序，一段原文配一段 PyTorch 代码，从注意力、掩码、位置编码一路写到训练循环、学习率预热、标签平滑和贪心解码，再用复制任务和德英翻译跑通。读它是为了把 Day 13 的每个公式落到张量形状上。

   • transformer
   • attention
   • ml-foundations
3. D15 Bahdanau 注意力：翻译时边对齐边生成 · P2 · 7 分钟

   编码器把整句压成一个固定长度向量，句子一长翻译就变差。这篇 ICLR 2015 论文让解码器每生成一个词，都对源句所有位置打分、加权求和得到专属的上下文向量，也就是后来所说的注意力。它是 P2 的起点，读 Transformer 前先读它。

   • attention
   • sequence-models
   • context-window
   • ml-foundations
4. D16 顺序很重要：把序列到序列模型扩展到集合 · 补完 · 8 分钟

   Vinyals、Bengio、Kudlur 2015 年的论文：链式法则在理论上对任何顺序都成立，但实验表明输入和输出按什么顺序排列，会明显影响 seq2seq 模型的学习效果。针对无序输入，作者提出“读取—处理—写出”结构，用注意力反复读取集合，得到与顺序无关的表示；针对无序输出，提出训练中同时搜索较优顺序的损失。

   • sequence-models
   • attention
   • ml-foundations
5. D17 神经图灵机：给神经网络接上一块可读写的外部记忆 · P3 · 9 分钟

   DeepMind 2014 年的论文：一个神经网络控制器加一块 N×M 的记忆矩阵，读写都是对所有位置的“模糊”加权操作，所以整套系统可微、能用梯度下降训练。它在复制、重复复制、联想回忆、排序等任务上学出了类似程序的读写模式，并能泛化到比训练更长的序列。

   • memory
   • attention
   • ml-foundations
6. D18 指针网络：输出不是词表里的词，而是“指向输入的第几个” · P3 · 7 分钟

   Vinyals 等人 2015 年的论文：凸包、三角剖分、旅行商这类问题的答案是输入元素的排列或子集，可选项随输入长度变化，固定词表的序列到序列模型处理不了。指针网络把注意力分布直接当作输出，每一步“指向”一个输入位置，并能在训练长度之外做一定程度的泛化。

   • attention
   • sequence-models
   • ml-foundations
7. D20 关系循环神经网络：让记忆槽之间用注意力互相交流 · 补完 · 8 分钟

   Santoro 等人 2018 年的论文：LSTM 和记忆增强网络擅长存取信息，却不擅长比较不同时刻记住的东西。关系记忆核心（RMC）让一组记忆槽每步用多头点积注意力互相读取、同时读入新输入，再接 LSTM 式门控。它在“第 N 远向量”任务上把准确率从不足 30% 提到 91%，在三个语言建模数据集上也降低了困惑度。

   • attention
   • memory
   • sequence-models
   • ml-foundations