标签：memory
1 篇笔记 · 3 篇论文笔记 · 2 个资源导读
笔记（1）
- 02 面向 AI 智能体的上下文工程
上下文是有限的“注意力预算”。上下文工程关注的是每一轮推理时该把哪些 token 放进窗口：系统提示要找准“高度”、工具要精简、示例要典型，运行时按需检索，长任务则依靠压缩、结构化笔记和子智能体。
论文笔记（3）
- D02 理解 LSTM：用“门”管理记忆的循环网络
Chris Olah 的图解博文：普通 RNN 理论上能记住长距离信息，实践中却学不会；LSTM 用一条几乎只做加法的“细胞状态”加上遗忘门、输入门、输出门，决定忘什么、记什么、说什么。文末把注意力点名为下一步，是通往 Transformer 的桥。
- D17 神经图灵机：给神经网络接上一块可读写的外部记忆
DeepMind 2014 年的论文：一个神经网络控制器加一块 N×M 的记忆矩阵，读写都是对所有位置的“模糊”加权操作，所以整套系统可微、能用梯度下降训练。它在复制、重复复制、联想回忆、排序等任务上学出了类似程序的读写模式，并能泛化到比训练更长的序列。
- D20 关系循环神经网络：让记忆槽之间用注意力互相交流
Santoro 等人 2018 年的论文：LSTM 和记忆增强网络擅长存取信息，却不擅长比较不同时刻记住的东西。关系记忆核心（RMC）让一组记忆槽每步用多头点积注意力互相读取、同时读入新输入，再接 LSTM 式门控。它在“第 N 远向量”任务上把准确率从不足 30% 提到 91%，在三个语言建模数据集上也降低了困惑度。
资源导读（2）
- 资源 Lilian Weng：LLM 驱动的自主智能体（2023）
一篇写于 2023 年 6 月的综述，被广泛引用。它把 LLM 智能体拆成“规划、记忆、工具使用”三大组件，并梳理了当时的代表性研究。体系阶段从这里开始，先搭起概念框架，再用 Anthropic 2024–2026 年的工程文章去更新它。
- 资源 OpenAI Cookbook 智能体示例精选（另一家厂商的做法对照）
OpenAI 官方的 notebook 示例集合。本页把它当作“另一家厂商的做法”来对照阅读：挑出 8 篇与 Anthropic 笔记主题重合的示例（会话记忆、长期记忆、压缩、沙箱化 harness、Skills、改进闭环、宏观评测、成本优化），每篇说明它和哪篇 Anthropic 笔记可以对照、两家做法有什么异同。