一句话定义:Infinite-Parameter LLMs(无限参数 LLM)是一类架构思路——模型的权重不再是一个训练完就冻结的固定集合,而是能在推理时根据当前输入动态生成、拼装或扩展,"参数量"因此从一个静态数字变成随输入变化的量。
打个比方:今天的 LLM 像一个把整座图书馆背下来的考生,闭卷答题。知识全压进千亿参数里,代价是:知识有截止日期,想更新就得重训;背不下的东西就是背不下。
无限参数的思路更像"开卷 + 现场做笔记":主干模型只保留通用能力(怎么理解问题、怎么推理),具体知识放在外部——数据库、文档库、长期记忆。问题来了,模型先取回相关材料,再由一个小的"生成器"把这些材料编译成一组临时权重,挂到主干上跑完这一次推理。用完可以丢掉,也可以沉淀回记忆库。
于是参数被分成两层:主干参数固定,管通用能力;动态参数每次现生成,规模由输入决定。所谓"无限"不是真有无限个权重,而是可寻址、可生成的权重没有预设上限。
和相邻概念的区别
| 检索增强 RAG | 微调(如 LoRA) | 无限参数 LLM | |
|---|---|---|---|
| 知识放在哪 | 外部文档,原文进上下文 | 离线训练成固定权重 | 推理时即时生成权重 |
| 更新见效 | 改数据库即可 | 要重训 | 理论上即时 |
| 占用AI 词典:上下文窗口">上下文窗口 | 占,长文档吃力 | 不占 | 不占 |
| 参数量 | 固定 | 固定(多一小块) | 随输入变化 |
和 MoE(混合专家)也别混:MoE 参数总量很大,但每次只激活其中一部分,总量仍是训练时定死的。无限参数动的是"总量"本身。它也可以看成 hypernetwork(超网络)思想的大规模落地。
对从业者意味着什么
一是知识更新可能不再等于重新训练,产品迭代节奏会变;二是上下文窗口的军备竞赛可能降温,因为长文档不必整篇塞进 prompt。代价是新的工程难题:检索到脏数据就会生成脏权重,注入攻击面更大;生成权重本身要算力,延迟怎么压;生成出来的东西怎么审计、怎么回滚。
对普通人的直觉是:AI 助手可能真的"记得你",今天告诉它的事,明天还在,不用每次从头复述。
需要提醒的是,这是一个架构方向,不是已经定型的产品形态,各家实现差异很大;看到具体能力宣称,以官方页面为准。
