Dan Luu 在其个人站点发布了一篇题为《Bad benchmarks and evals: Senior SWE-Bench, napkin math, and winter tires》的文章（danluu.com/exercise-7/），主题指向“糟糕的基准测试与评测”。该条目在热点聚合中被归入“其他”分类，目前没有附带摘要，因此以下内容只围绕标题给出的线索展开，不涉及文章内部的具体数据、案例与结论。
从标题看，文章至少涉及三条线索。其一是 “Senior SWE-Bench”：SWE-Bench 是近年被广泛使用的代码能力评测基准之一，“Senior” 前缀暗示作者关注的是面向更高难度、更贴近资深工程师实际工作的评测形态。其二是 “napkin math”，即“餐巾纸上的算术”——用少量算式快速判断数量级，常被用来检验某个性能宣称是否站得住。其三是 “winter tires”，冬季轮胎，看上去是一个类比：同一条轮胎若在错误的路况与季节下评测，得到的排名未必对应真实道路上的表现。
把三者放在一起，标题传达的问题意识对 AI 从业者相当直接：基准分数与评测结果正在成为模型能力宣称、技术选型乃至采购决策的主要依据，而基准本身可能是坏的——任务设置偏离真实使用场景、指标测的并不是想测的东西，或者用粗略估算就能发现宣称不合常理。评测一旦失真，错误结论会沿着论文、榜单与产品文案一路放大。
需要说明的是，文章的具体论证、引用与结论仍需阅读原文；在缺少摘要的情况下，不宜替作者归纳立场。目前可确认的事实仅限于标题、作者与链接本身。