跳到主内容
快讯直播
AI智模界
AI 词典

MT-Bench:让强模型当裁判的多轮对话考卷

一句话定义:MT-Bench(Multi-Turn Benchmark,多轮对话基准)是一套用“强模型当裁判”给聊天助手打分的评测基准。它不出选择题,而是像真人用户一样连着追问两轮,再请一个更强的模型给回答打 1–10 分。

它怎么运作

题库规模不大,约 80 道题,每道是两轮对话,覆盖写作、角色扮演、信息抽取、推理、数学、编程、STEM、人文等类别。第二轮会紧接第一轮追问,专门检查两件事:记不记得上文,听不听得懂改需求(“再口语一点”“把结尾换个反转”)。跑完题后,把题目和模型的完整回答一起交给裁判模型;裁判模型通常是 GPT-4 这一档的强模型。裁判先写评语再给分,也可以改成“两个模型的回答二选一”的两两对比模式。

打个比方:这更像编辑部请资深主编审新人稿件;主编不考新人做选择题。先给新人一个真实约稿任务,中途改需求,最后主编按 1–10 分打分并写评语。

跟相邻概念的区别

考什么谁来判长处短板
传统基准(选择题类)知识与单步推理标准答案客观、可复现考不出对话与指令跟随
MT-Bench多轮对话质量强模型当裁判便宜、快、贴近真实用法裁判有自己的口味,分数是相对的
Chatbot Arena真实用户偏好人类盲选投票最接近真实用户慢、贵、不可控

一句话:MT-Bench 衡量的是“一个模型的品味”,Arena 衡量的是“一群人的品味”。

两个必须知道的坑

  • 裁判偏好(judge bias):裁判模型会偏爱风格像自己的答案(self-preference),也更容易给结构清晰、开头先给结论的回答打高分。换一个裁判,分数就会变;它的分数更适合在同一裁判、同一设置下比较,不要跨版本直接横向比较。
  • 长度偏差(length bias):回答越长越容易得分,哪怕只是啰嗦。多写两段铺垫、加一句“让我们一步步思考”,分数都可能上涨。因此看到高分时,要同时看回答长度、分类得分和具体案例,不能只看总分。

两两对比模式还有位置偏差:裁判倾向选先出现的那个。常见做法是交换顺序各评一次再平均。

对从业者的实际意义

选模型、改 prompt、比较两个小版本时,MT-Bench 是性价比很高的初步筛选:几十上百道题,一晚上跑完,能迅速暴露“多轮对话忘上文”“改需求不听话”这类问题。但它只适合做参考排序,不是绝对能力值——分差很小时别当真,结论最后要回到自己业务的真实样本上验证。题库细节、评分脚本和最新说明,以官方页面为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。