一句话定义：模拟用户评测（User Simulator）是用一个大语言模型（LLM）扮演用户，去和被测的 AI 智能体（Agent）反复对话，看它能不能真正把事办完的一种测试方法。
为什么需要它
传统测法是这样的：写几十条测试用例，每条跑一遍，检查输出里有没有关键词、格式对不对。问题是，真实用户从来不是这么配合的。真人会改口、会中途加需求、会故意说错话、会连着问三轮还没说清自己到底要什么。一次跑通不代表第二次还能跑通，更不代表遇到啰嗦用户还能跑通。
模拟用户评测把"测试用例"换成了"测试用户"。这个用户本身也是 LLM，但被赋予了人设：脾气急、表述含糊、预算有限、已经试过别家产品不满意。它和被测智能体来回对话，直到任务完成或对话轮数耗尽。
打个比方
餐厅试营业。传统测试像请美食评论家来点一份招牌菜，尝一口打分——菜本身没问题。模拟用户评测像请一群真实顾客来吃饭：有人进门就改主意，有人嫌上菜慢，有人吃到一半要求换菜，有人带着三个孩子和一肚子牢骚。厨房能不能撑住，看的不是单道菜，而是这一整晚的应付能力。
它到底在测什么
| 维度 | 传统用例测试 | 模拟用户评测 |
|---|---|---|
| 交互次数 | 通常单轮或固定轮数 | 多轮，轮数由对话动态决定 |
| 用户行为 | 脚本化、礼貌、目标明确 | 会重复、会变卦、会误导 |
| 主要发现 | 单点功能是否可用 | 任务完成率、抗干扰能力、是否"嘴上办完了" |
| 典型失败 | 输出格式错误 | 第 5 轮忘了第 1 轮用户说过的约束 |
最典型的失败模式是"假完成"：智能体在某一轮自信地说"已经帮您处理好了"，其实什么都没做成，或者做成了用户没要的东西。单轮测试根本抓不到这种问题。
和相邻概念的区别
它和 A/B 测试不同：A/B 测试比较的是线上真实用户的两组方案，样本是真人的；模拟用户评测则是在上线前用虚拟用户做压力测试，成本低、可重复、能跑成千上万次。它也和自动化回归测试不同：回归测试关心"原来能用的功能有没有坏"，模拟用户评测更关心"没预设过的对话路径会不会崩"。
两者配合最好：回归测试守住底线，模拟用户评测探边界。
对从业者的意义
做智能体的人，衡量指标要从"单次成功率"换成"任务完成率"和"平均对话轮数"这类更贴近真实体验的数字。同时要警惕评测本身被过度信任——模拟用户也是 LLM，它的刁难方式和真人不一样，容易集中在语言层面，缺了真人那种现实世界的随意性。
对普通职场人，这件事的现实含义是：以后判断一个 AI 产品好不好，别只看演示视频里那一次丝滑的对话，多问一句——连着换三次需求，它还接得住吗？
具体评测框架与实现方式，以各家官方页面为准。