一句话定义:参数化记忆(parametric memory)指知识被训练进模型权重(weights)里,模型自己"记得";非参数化记忆(non-parametric memory)指知识放在模型之外——向量库、搜索索引、数据库、文件——用的时候现查。
打个比方
想象两位厨师。第一位把上百道菜谱背得滚瓜烂熟,闭着眼也能炒,出菜快、动作流畅;可一旦配方改了,他得从头重学一遍,而且你问他"这勺盐的用量写在哪本书第几页",他答不上来。第二位手边摊着一本活页菜谱,边看边做,慢一点,但改配方只需换一页纸,每一勺盐都能指给你看是哪一页写的。
前者是参数化记忆,后者是非参数化记忆。
大模型的基础能力几乎全部来自参数化记忆:预训练(pre-training)把海量文本的统计规律压进海量参数里,于是模型能续写、能翻译、能答常识题。但它手里没有"原文",只有分布——这也正是幻觉(hallucination)的来源:当问题落在训练数据稀疏的地方,模型往往不会说"我不知道",而是按概率生成一句最像答案的话。
非参数化记忆的典型落地是AI 词典:检索增强生成">检索增强生成(Retrieval-Augmented Generation, RAG):先把文档切块、向量化存进库,用户提问时先检索出最相关的几段,再让模型"看着材料回答"。答案的依据是检索结果,不是权重。
差别集中在三件事上
| 维度 | 参数化记忆 | 非参数化记忆 |
|---|---|---|
| 知识在哪 | 模型权重里 | 外部库、索引、文件里 |
| 更新 | 重训或微调,慢、贵,牵一发动全身 | 增删改一条记录,很快生效 |
| 溯源 | 基本做不到,只能说"我记得" | 能直接指出是哪段原文 |
| 幻觉 | 边界处会自信地编 | 检索不到时可明确说"没找到" |
| 单次成本 | 一次前向计算 | 多一步检索,但省了重训 |
容易混淆的地方
参数化不等于微调,非参数化也不等于"在对话里粘贴资料"。微调是把新知识往权重里再烤一遍,属于参数化的更新手段;把文档贴进对话窗口,是手工版的非参数化。真正的分界线是:这条知识在推理时,是从权重里长出来的,还是从外部读进来的。
对从业者的意义
别指望用微调给模型"灌知识库"。微调更适合教风格、格式、语气和任务模式;而会变的、要求精确的、需要给出出处的知识,放外部库更划算。做产品时,答案要不要附引用、错了谁负责,基本就决定了你该走哪条路。
对普通人的意义
看到 AI 说得斩钉截铁,不等于它有依据。多问一句"这个说法出自哪里",就能筛掉不少幻觉。
