定义
上下文是提供给计算的信息。循环网络在步骤之间传递状态。外部存储可以保存文档，并按请求检索相关内容。这些机制的容量与保留保证不同。
公式
hₜ是步骤t的状态，xₜ是输入，θ是参数。循环状态不是文档数据库，也不会单独构成永久记忆。
假设与符号
hₜ是步骤t的状态，xₜ是输入，θ是参数。循环状态不是文档数据库，也不会单独构成永久记忆。
解释的局限
一个对话中的文件不一定在另一个对话中可用。持久性取决于产品和设置；检索文档不一定需要重新训练。
跳转到内容hₜ = fθ(hₜ₋₁, xₜ)
说的是哪种记忆？
区分上下文、循环状态、参数与持久存储。
从概念到应用应用于实践
科学来源
- Hochreiter & Schmidhuber · 1997Long Short-Term Memory原始文献
- Lewis et al. · 2020Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks原始文献
基于所引公开资料的教学总结。论文结果受其任务、协议和资源预算约束。