跳到主内容
快讯直播
AI智模界
AI 词典

LLM 能力认知差:体感与评测为何总打架

一句话定义:LLM 能力认知差(Capability Perception Gap)指大语言模型(LLM)的真实能力边界,与公众、从业者从评测分数、媒体报道和日常试用中形成的印象之间,持续拉开的偏差。

打个比方:评价一个厨师,米其林评分、短视频里的高光片段、你偶然点的一次外卖,是三套信息。评分高不代表他会做你家口味;一次难吃也不代表他只会煮泡面。LLM 也类似。它的能力不是单一分数,而是一张高低不平的地形图:任务类型、上下文长度、提示词(prompt)、是否给工具、是否多轮,都会改变结果。

为什么分数和体感会脱节?第一,评测像标准化考试,考固定题型、看平均分;日常工作像开放厨房,什么菜都可能点。第二,基准测试(benchmark)可能被数据污染或过拟合,分数不等于泛化。第三,产品层包装差异很大:同一个底层模型,配上不同系统提示、AI 词典:检索增强生成">检索增强生成(RAG)、工具调用,体感可以差很远。第四,人有归因偏差:一次惊艳就以为通用智能来了,一次胡说就判死刑。

它和相邻概念不同。它不是 AI 炒作,炒作是外部叙事;也不是幻觉(hallucination),幻觉是模型输出错误。认知差描述的是“真实能力”与“人的印象”之间的映射误差,既有高估,也有低估。高估:以为它全知全能;低估:以为它只是高级文字接龙。

维度评测分数日常体感
任务固定、窄开放、宽
条件尽量可复现受提示、上下文、工具影响
信号平均而稳定极端而嘈杂

对从业者,别只看榜单选型。建自己的小评测集,抽样真实工作流,记录失败模式;把模型当能力不匀的实习生,配检索、工具、校验和人工兜底。对普通人,把 LLM 当“某些事很强、但不稳定”的协作者:重要结论交叉验证,重复性任务大胆试。

避免误判边界的方法:按任务拆开测,固定提示,再换提示;看是否需要外部工具;关注失败边界,而非单次成败。涉及具体能力、版本与限制,以官方页面和实际试用为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。