30u30：30 篇经典 AI 论文（原理支线）

30u30: 30 Foundational AI Papers in 30 Days

• ml-foundations
• papers

状态

active

费用

免费、开源（仓库 README 自述）

估计投入

约 133 小时（估算）

许可

仓库采用 CC BY-NC-ND 4.0（署名—非商业—禁止演绎），LICENSE、README 和网站页脚都这样写；GitHub API 识别为 Other。本页只是笔者自己的导读和链接，没有搬运其讲解、代码、练习或图片，也没有翻译或改编。各篇原论文的版权归各自作者和出版方。

路线位置

原理支线 P1：Day 1–2（序列与预测下一个 token），入门结束后开始；原理支线 P2：Day 15 → 13 → 14（注意力与 Transformer；从这里起需要 PyTorch 基础），第 8–13 步期间；原理支线 P3：Day 17、18（外部记忆与指针网络），第 14–20 步期间；原理支线 P4：Day 25（规模定律），第 21–24 步期间；原理支线 P5：Day 29 → 30（PPO 与 RLHF），第 25–31 步期间；原理支线 P6 与补完：Day 4–7、26、27（理论），其余 14 篇按单元补完，与跟进前沿并行（查看路线）

搭配笔记：#2 面向 AI 智能体的上下文工程、#24 近期三个问题的事后复盘、#17 长时运行智能体的有效 harness、#18 面向长时应用开发的 harness 设计、#11 揭秘 AI 智能体评测、#1 构建高效的智能体：从简单可组合的模式出发

定位提示：这是一条并行的原理支线，不占主线编号。它回答的不是“智能体怎么搭”，而是“智能体底下的模型是怎么来的”。

一句话导读#

30u30 把 30 篇经典论文做成了“读讲解 → 看实现 → 做练习”的学习单元。跟着它走一遍，你会知道上下文窗口、注意力、采样、规模定律、RLHF 这些在 Anthropic 笔记里反复出现的词，在模型内部究竟是什么。

为什么放在这个阶段#

• 起点在入门之后：主线第 1–5 步结束时，你已经会用模型、会搭简单智能体，这时回头追问“模型为什么这样工作”最有动机。所以 P1 挂在 Claude Code 最佳实践 之后。
• 并行而不前置：做智能体工程不需要先会实现 Transformer。把它设成前置，会把“能动手”的时间推后好几个月，所以作为可选支线，与体系、实战、跟进前沿三个阶段并行推进。
• 有汇合点：几篇笔记的关键论点直接依赖底层原理。比如 上下文工程 用“n 个 token 有 n² 对关系”解释上下文为什么是有限预算；三个问题的事后复盘 涉及 top-k / top-p 采样。支线各段的时机就是按这些汇合点安排的。

结构速览#

仓库把 30 篇分为 6 个单元（篇名为笔者简称，括号内为 Day 编号）：

每篇的配套内容（按仓库文件树核对）：讲解 README（标有预计时长和前置要求）、简版笔记、速查表、完整实现、最小训练脚本、可视化脚本、notebook，以及练习和答案（多数 5 道，Day 19 有 7 道）。视觉单元前 4 篇另有自测题目录。

实现用的库（按各篇 implementation.py 的导入判断）：

• 只用 NumPy 或标准库的约 12 篇：Day 1–7、12、13、26–28。
• 用到 PyTorch 的约 18 篇：Day 8–11、14–25、29、30。

前置要求：总 README 说初学者有 Python 基础即可，不需要 GPU。但各篇要求逐步升高：第 3 单元起多篇要求 PyTorch 和线性代数，PPO 要求强化学习基础。本路线从 P2（注意力）起把 PyTorch 基础列为前置。

建议看哪些部分#

30 篇全部推荐。下面是笔者建议的顺序：核心 10 篇按 P1–P5，理论 6 篇为 P6，其余 14 篇按原单元补完。

每篇怎么读：有经验的读者可以走“讲解 README → 实现代码 → 练习”；时间紧时只读讲解和速查表，跳过训练与练习。仓库的 QUICKSTART 也给了“理论优先 / 代码优先 / 练习优先”三条路径。

时长（除标明“仓库”的数字外，均为笔者估算）：

frontmatter 里的 estimated_hours: 133 取的是仓库加总区间的中值，同样只是估算。

与 Anthropic 笔记对照#

flowchart LR
    subgraph Main["主线（36 步）"]
      direction LR
      S1["入门 1–5"] --> S2["体系 6–20"] --> S3["实战 21–31"] --> S4["跟进前沿 32–36"]
    end
    subgraph Theory["原理支线（30u30，不占编号）"]
      direction LR
      P1["P1 序列"] --> P2["P2 注意力<br/>（需 PyTorch）"] --> P3["P3 外部记忆"] --> P4["P4 规模定律"] --> P5["P5 PPO / RLHF"] --> P6["P6 理论 + 其余 14 篇"]
    end
    S1 -.入门结束后开始.-> P1
    P2 -.回看上下文工程.-> S2
    P3 -.对照 harness.-> S3
    P5 -.回看评测.-> S2
    P6 -.长期阅读.-> S4

学习任务#

1. 读完 P1 后，用你常用的模型 API 把温度分别设为 0、0.7、1.2，各采样同一个提示若干次，记录输出差异，再去读事后复盘。
2. 读完 P2 后，估算一下：你的结业智能体上下文从 10k token 涨到 100k token 时，注意力的“成对关系”增加了多少倍？这对你的上下文压缩策略意味着什么？
3. 读完 P5 后，写一段对比：RLHF 的奖励模型和你在评测里用的模型评分器，分别可能在哪些情况下“被钻空子”？
4. 每读完一个单元，用三句话写下“这篇和智能体工程有什么关系”。如果答案是“关系不大”，也照实记录。

注意事项#

• 书单来源：本页统一写作“据称源自 Ilya 推荐书单（未经本人证实），仓库另补 3 篇”。
  • 网上流传的“Ilya Sutskever 给 John Carmack 的书单”公开版本只有 27 项，从未经本人确认。参见 30papers.com 与 Tensorlabbet 的讨论。
  • 对照这 27 项，30u30 另补了 Dropout（Day 12）、PPO（Day 29）、RLHF（Day 30），但仓库没有标明这一点。
  • 常被引用的“学会这些就懂了 90%”一句，出处同样未经证实。
• 不全是 NumPy：约 18 篇用到 PyTorch，网站卡片上的技术标签与代码也不完全一致，以各篇代码为准。
• 授权 CC BY-NC-ND 4.0：可以阅读、学习、分享链接；不能商用，不能分发改编版本。所以本站不提供中文翻译或改写版，代码、讲解和练习请到原仓库查看。
• 正确性：讲解和实现由个人维护，本导读没有逐篇核对，建议对照原论文阅读（原论文链接见仓库的 ilya_30_papers.md）。
• 小问题：README 快速开始里的克隆地址写成了占位符 yourusername，实际地址是 github.com/Ojhaharsh/30u30。另外，ilya_30_papers.md 的 AlexNet 条目下多挂了一个 arXiv 1211.5063 链接，那是另一篇论文（关于 RNN 训练难点）。
• 时效：仓库最后推送是 2026-02-19（北京时间），Bonus 论文（BERT、GPT-2、GPT-3、Chinchilla 等）标为即将推出，尚未上线。

延伸阅读#

站内笔记

• 面向 AI 智能体的上下文工程
• 近期三个问题的事后复盘
• 揭秘 AI 智能体评测

站内资源

• Lilian Weng 综述导读：从研究脉络看智能体组件
• Hugging Face 课程导读：主线练手项目

原文相关链接

• 配套网站
• 论文清单
• 授权全文

本导读依据 2026-10-18 访问的在线内容撰写，仅为导读与总结。原文：Harsh Ojha,《30u30: Master Ilya’s 30 Foundational AI Papers in 30 Days》。