AI赋能卡 · 基础入门 ·
NO. 002 2026.06

AI的记忆机制——为什么AI会"忘记"之前的话?

Context Window · RAG · Embedding —— 三层架构让 AI 从「金鱼记忆」升级为「有据可查」。

🧠 短期记忆(对话窗口)
当前对话窗口内的内容,模型可以「记得」。对话越长、Token 越多,早期内容可能被挤出窗口。
👇 连聊 20 轮后 AI 说「不好意思,你能再说一遍吗?」—— Context Window 已满,早期对话被「遗忘」了。
📚 长期记忆(RAG 机制)
将文档 / 数据库内容预先存为向量,提问时检索最相关片段注入 Prompt,突破 Context Window 限制。
👇 客服 AI 准确回答 3 个月前的产品问题——它把产品文档存进向量库,提问时自动检索,而非靠「记住」。
🔢 Embedding(向量嵌入)
把文字转成一串数字(向量),语义相近的词向量距离也近,让 AI 理解「意思」而非仅匹配字符。
👇 搜「退款流程」→ 传统搜索只匹配「退款」两字 → Embedding 同时找回「退货政策」「资金返还」等语义相关段落。
01
文档切片 将长文档按语义边界拆分为 300–500 字的短段落,保证每个切片信息完整、上下文自足,为后续精准检索打好基础。
02
向量化存储 通过 Embedding 模型将文本转为高维数值向量,存入向量数据库。语义相近的向量在空间中距离更近,构成 AI 的「索引卡片柜」。
03
语义检索 用户提问同样转为向量,在向量库中做相似度搜索,返回 Top-K 最相关片段——不是关键词匹配,而是「意思」层面的精准命中。
04
注入回答 将检索到的文档片段与用户问题一同注入 Prompt,AI 基于「参考资料」生成答案,大幅降低凭空编造的概率。
每 10 轮总结一次 让 AI 输出当前对话的要点摘要,保存到本地。下次对话开头粘贴摘要,AI 就能「无缝衔接」之前的讨论,不因窗口限制而断档。
主动「喂」背景资料 审合同前先粘贴甲乙方信息 + 核心条款,分析报告前先给数据表格。手动扩充 AI 的「工作记忆」,输出精准度立刻提升。