一句话定义:模型能力矩阵(Model Capability Matrix)是把「任务类型」和「模型档位」当作横纵两轴,交叉出一张选型表的方法。它关心的是“这个模型能不能做这类任务、做得稳不稳”,而不问“哪个模型总分最高”。
先打个比方。榜单总分像高考总分:能大致看出谁基础好,但你招的是文案、会计、看图审图的复合岗位,总分 650 的人未必比 620 的人更会写带货文案。模型也一样:一个模型在综合评测里领先,可能只是代码和数学拉高了平均分,而你要做的中文长文摘要它反而平平。平均分会掩盖单项短板,而你的业务往往只压在某一两个单项上。
具体怎么建这张表。横轴列任务类型:长文写作与改写、代码生成与审查、结构化信息抽取、图像/文档理解、多轮对话、翻译、数学与逻辑推理、工具调用(function calling)与流程编排、长上下文检索等。纵轴列模型档位:旗舰大模型、轻量小模型、推理增强型、多模态型、可私有化部署的开源模型。每个格子里填四件事:能不能做、做得好不好、输出稳不稳定(比如 JSON 是否规整)、延迟与成本大概在哪个量级。价格、上下文长度这类会变的数字,以官方页面为准。
举个真实感的例子:把一批客服录音变成工单。这条链路其实有三步:语音转写、字段抽取、回复草稿。转写交给专用语音模型;字段抽取要求严格的 JSON 结构,一个轻量小模型配上明确的 schema 约束往往就够,还快;回复草稿要语气自然,值得上旗舰模型。全链路都用旗舰模型,又贵又慢;全用小模型,字段容易漏。这就是矩阵的价值:按任务类型分档使用。
它和相邻概念的区别:
| 概念 | 回答的问题 | 局限 |
|---|---|---|
| 排行榜(leaderboard) | 谁排第一 | 平均分掩盖单项短板,且常被优化过 |
| 基准测试(benchmark) | 某类任务谁更强 | 测试集分布和你的真实数据不一样 |
| 能力矩阵 | 我这个任务该用哪一档 | 要自己维护,会随模型迭代过期 |
所以矩阵是一种决策工具,并非评测工具。它的输入应该是你自己的小评测集:从真实业务里抽几十上百条样本,人工标注“合格/不合格”,跑一遍就有感觉了,比看任何榜单都准。
对从业者的意义:别用一个模型打天下。常见做法是加一层路由(routing):简单请求走小模型,置信度低或任务复杂时升级到旗舰模型,既省钱又保住体验。对普通职场人:提需求时说清任务类型——“我要从合同里抽金额和期限”比“哪个 AI 最强”有用得多。矩阵会过期,判断方法不会。
