一句话定义
模型容量(Model Capacity)是指一个模型在训练中能表达、记住和区分多少种模式与知识的上限。你可以把它想成“脑子的书架有多大”。
原理:书架不是越大越好
想象你要把一整套百科全书装进书架。书架太小,很多书放不进去,模型学不会复杂规律,这叫欠拟合(underfitting)。书架够大,能放下更多书,模型能记住更多细节和知识。
但书架不是越大越好。如果你只有几本书,却买了一个顶天立地的大书架,结果可能是:空着浪费,还容易把不看的旧杂志、广告传单也塞进去。对应到模型,就是它把训练数据里的噪声和巧合也当成规律记住了,这叫过拟合(overfitting)。换到新数据上,反而表现更差。
模型容量通常和参数量(number of parameters)、层数、宽度、注意力头数等有关,但不等同于参数量。同样的参数量,架构不同、训练数据不同、正则化不同,有效容量也不同。
和相邻概念的区别
| 概念 | 它回答的问题 | 和容量的关系 |
|---|---|---|
| 参数量 | 模型有多少可调数字 | 常见代理指标,但不等于容量 |
| 计算量 | 跑一次要算多少 | 容量大通常更费算力,但可以分开设计 |
| 泛化 | 在新数据上表现如何 | 容量太小欠拟合,太大可能过拟合,不是单调关系 |
| 模型大小/显存 | 部署要占多少资源 | 容量大往往更大,但容量是能力上限,不是资源本身 |
对从业者与普通人的意义
对从业者:选模型不是“越大越好”。数据少、任务简单时,小容量模型可能更稳、更快、更便宜。数据多且多样时,大容量才有用武之地。正则化(regularization)、早停(early stopping)、数据增强(data augmentation)都是在限制有效容量,防止它乱记。容量要和数据量、任务复杂度匹配,这是模型选型的基本功。
对普通人:听到“这个模型参数很多、容量很大”,可以理解为“它脑子里的书架很大,能装很多知识”。但书架大不代表每本书都对、都新、都能找到。大模型可能更贵、更慢,也可能把不靠谱的内容也装进去,回答时自信地犯错。所以关键不是容量有多大,而是容量有没有被好数据、好训练和好评估用在刀刃上。具体模型规格和表现,以官方页面为准。
