一句话定义:LLM 能力认知差(Capability Perception Gap)指大语言模型(LLM)的真实能力边界,与公众、从业者从评测分数、媒体报道和日常试用中形成的印象之间,持续拉开的偏差。
打个比方:评价一个厨师,米其林评分、短视频里的高光片段、你偶然点的一次外卖,是三套信息。评分高不代表他会做你家口味;一次难吃也不代表他只会煮泡面。LLM 也类似。它的能力不是单一分数,而是一张高低不平的地形图:任务类型、上下文长度、提示词(prompt)、是否给工具、是否多轮,都会改变结果。
为什么分数和体感会脱节?第一,评测像标准化考试,考固定题型、看平均分;日常工作像开放厨房,什么菜都可能点。第二,基准测试(benchmark)可能被数据污染或过拟合,分数不等于泛化。第三,产品层包装差异很大:同一个底层模型,配上不同系统提示、AI 词典:检索增强生成">检索增强生成(RAG)、工具调用,体感可以差很远。第四,人有归因偏差:一次惊艳就以为通用智能来了,一次胡说就判死刑。
它和相邻概念不同。它不是 AI 炒作,炒作是外部叙事;也不是幻觉(hallucination),幻觉是模型输出错误。认知差描述的是“真实能力”与“人的印象”之间的映射误差,既有高估,也有低估。高估:以为它全知全能;低估:以为它只是高级文字接龙。
| 维度 | 评测分数 | 日常体感 |
|---|---|---|
| 任务 | 固定、窄 | 开放、宽 |
| 条件 | 尽量可复现 | 受提示、上下文、工具影响 |
| 信号 | 平均而稳定 | 极端而嘈杂 |
对从业者,别只看榜单选型。建自己的小评测集,抽样真实工作流,记录失败模式;把模型当能力不匀的实习生,配检索、工具、校验和人工兜底。对普通人,把 LLM 当“某些事很强、但不稳定”的协作者:重要结论交叉验证,重复性任务大胆试。
避免误判边界的方法:按任务拆开测,固定提示,再换提示;看是否需要外部工具;关注失败边界,而非单次成败。涉及具体能力、版本与限制,以官方页面和实际试用为准。
