跳到主内容
快讯直播
AI智模界
AI 词典

无限参数 LLM:参数不再固定,现用现生成

一句话定义:Infinite-Parameter LLMs(无限参数 LLM)是一类架构思路——模型的权重不再是一个训练完就冻结的固定集合,而是能在推理时根据当前输入动态生成、拼装或扩展,"参数量"因此从一个静态数字变成随输入变化的量。

打个比方:今天的 LLM 像一个把整座图书馆背下来的考生,闭卷答题。知识全压进千亿参数里,代价是:知识有截止日期,想更新就得重训;背不下的东西就是背不下。

无限参数的思路更像"开卷 + 现场做笔记":主干模型只保留通用能力(怎么理解问题、怎么推理),具体知识放在外部——数据库、文档库、长期记忆。问题来了,模型先取回相关材料,再由一个小的"生成器"把这些材料编译成一组临时权重,挂到主干上跑完这一次推理。用完可以丢掉,也可以沉淀回记忆库。

于是参数被分成两层:主干参数固定,管通用能力;动态参数每次现生成,规模由输入决定。所谓"无限"不是真有无限个权重,而是可寻址、可生成的权重没有预设上限。

和相邻概念的区别

检索增强 RAG微调(如 LoRA无限参数 LLM
知识放在哪外部文档,原文进上下文离线训练成固定权重推理时即时生成权重
更新见效改数据库即可要重训理论上即时
占用AI 词典:上下文窗口">上下文窗口占,长文档吃力不占不占
参数量固定固定(多一小块)随输入变化

MoE混合专家)也别混:MoE 参数总量很大,但每次只激活其中一部分,总量仍是训练时定死的。无限参数动的是"总量"本身。它也可以看成 hypernetwork(超网络)思想的大规模落地。

对从业者意味着什么

一是知识更新可能不再等于重新训练,产品迭代节奏会变;二是上下文窗口的军备竞赛可能降温,因为长文档不必整篇塞进 prompt。代价是新的工程难题:检索到脏数据就会生成脏权重,注入攻击面更大;生成权重本身要算力,延迟怎么压;生成出来的东西怎么审计、怎么回滚。

对普通人的直觉是:AI 助手可能真的"记得你",今天告诉它的事,明天还在,不用每次从头复述。

需要提醒的是,这是一个架构方向,不是已经定型的产品形态,各家实现差异很大;看到具体能力宣称,以官方页面为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。