一句话定义:模型权重(Weights)是神经网络内部那些在训练过程中被反复调整的数字,它们合起来决定了模型接到输入后输出什么。
原理:一台有几十亿个旋钮的机器
把模型想成一间巨大的调音台,上面密密麻麻全是旋钮。你输入一句话,信号沿着线路流过这些旋钮,每经过一个就被拧一下,最后汇总成一个输出。旋钮的位置,就是权重。
训练做的事非常朴素:喂一条数据进去,看输出和正确答案差多远,然后把每个旋钮往“误差变小”的方向拧一点点。重复亿万次,旋钮就停在了一组“好用”的位置上。这组位置被保存成文件。所谓“模型”存到磁盘上以后,主要就是这个数字矩阵的集合。
这里有一个很重要的认识转变:模型里没有一条写着“猫有胡须”的规则,它只有数字。是这些数字的组合,让“猫”这个词在对应输入下的得分变高。所以模型说不清自己为什么这么答,就像你说不清自己为什么一眼就认出老朋友的脸。
它和相邻概念的区别
| 概念 | 是什么 | 谁来改 |
|---|---|---|
| 权重 | 训练学到的数字,模型的“记忆” | 训练和微调时自动调整,人看不懂 |
| 超参数 | 学习率、层数、批量大小等 | 人在训练前设定 |
| 提示词 | 你每次输入的指令 | 用户随时写 |
注意:提示词不改权重,它只是在同一个模型上“临时提要求”;改权重才是真正改变模型的倾向。
为什么这件事对你有用
对从业者:微调(fine-tuning)本质就是在一组已有权重上继续拧旋钮;量化(quantization)是把每个数字用更少的位数表示,换来更小的体积和更快的速度,代价是精度损失。同一个网络结构配上不同权重,就是完全不同的模型,所以可以这么说:换权重就等于换脑子。权重既是资产,也是黑盒:能跑、能量产,但难解释、难审计;出了问题时,很难定位到是哪个数字的责任。
对普通人:这解释了两件日常困惑。一是为什么模型升级后“像换了个人”,因为底层那堆数字全变了。二是为什么它会一本正经地胡说,因为知识被压进数字里,并不存在数据库里,没有可查的条目,它就顺着最像的话往下编。至于某个模型的具体参数量、授权条款和许可范围,以官方页面为准。
