一句话定义:MT-Bench(Multi-Turn Benchmark,多轮对话基准)是一套用“强模型当裁判”给聊天助手打分的评测基准。它不出选择题,而是像真人用户一样连着追问两轮,再请一个更强的模型给回答打 1–10 分。
它怎么运作
题库规模不大,约 80 道题,每道是两轮对话,覆盖写作、角色扮演、信息抽取、推理、数学、编程、STEM、人文等类别。第二轮会紧接第一轮追问,专门检查两件事:记不记得上文,听不听得懂改需求(“再口语一点”“把结尾换个反转”)。跑完题后,把题目和模型的完整回答一起交给裁判模型;裁判模型通常是 GPT-4 这一档的强模型。裁判先写评语再给分,也可以改成“两个模型的回答二选一”的两两对比模式。
打个比方:这更像编辑部请资深主编审新人稿件;主编不考新人做选择题。先给新人一个真实约稿任务,中途改需求,最后主编按 1–10 分打分并写评语。
跟相邻概念的区别
| 考什么 | 谁来判 | 长处 | 短板 | |
|---|---|---|---|---|
| 传统基准(选择题类) | 知识与单步推理 | 标准答案 | 客观、可复现 | 考不出对话与指令跟随 |
| MT-Bench | 多轮对话质量 | 强模型当裁判 | 便宜、快、贴近真实用法 | 裁判有自己的口味,分数是相对的 |
| Chatbot Arena | 真实用户偏好 | 人类盲选投票 | 最接近真实用户 | 慢、贵、不可控 |
一句话:MT-Bench 衡量的是“一个模型的品味”,Arena 衡量的是“一群人的品味”。
两个必须知道的坑
- 裁判偏好(judge bias):裁判模型会偏爱风格像自己的答案(self-preference),也更容易给结构清晰、开头先给结论的回答打高分。换一个裁判,分数就会变;它的分数更适合在同一裁判、同一设置下比较,不要跨版本直接横向比较。
- 长度偏差(length bias):回答越长越容易得分,哪怕只是啰嗦。多写两段铺垫、加一句“让我们一步步思考”,分数都可能上涨。因此看到高分时,要同时看回答长度、分类得分和具体案例,不能只看总分。
两两对比模式还有位置偏差:裁判倾向选先出现的那个。常见做法是交换顺序各评一次再平均。
对从业者的实际意义
选模型、改 prompt、比较两个小版本时,MT-Bench 是性价比很高的初步筛选:几十上百道题,一晚上跑完,能迅速暴露“多轮对话忘上文”“改需求不听话”这类问题。但它只适合做参考排序,不是绝对能力值——分差很小时别当真,结论最后要回到自己业务的真实样本上验证。题库细节、评分脚本和最新说明,以官方页面为准。
