我们看到一个 AI 测试得分很高，究竟知道了什么：它掌握了某种能力，还是它更适应这场考试？这篇 Quanta 访谈的价值，在于拆开了常被混为一谈的三件事：分数、排名与机制解释。受访者、计算机科学家 Moritz Hardt 认为，基准测试长期存在缺陷，却仍推动了机器学习进步；如今，大语言模型正在破坏这种曾经有效的平衡。[原文][1]
本文解读的是 John Pavlus 对 Hardt 的访谈，而非其著作《The Emerging Science of Machine Learning Benchmarks》的章节或节选。[原文][1]
一、坏尺子为什么仍能选出好模型？
Hardt 先指出一处方法上的矛盾：通常的留出法要求把测试集隔离，避免它进入开发反馈循环；但机器学习领域长期将测试集公开，开发者可以据此反复调整模型。测试由此不再只是检查学习成果，也参与塑造学习成果。[原文][1]
不过，他没有因此断言基准测试毫无价值，而是区分了绝对得分的可信度与相对排名的稳定性。访谈用一个示意说明问题：同一模型在一个数据集上准确率为 90%，换一个略有不同的数据集便可能只有 73%。这不是某项具名实验的数据，而是用来说明：单个分数未必能代表模型在更广泛环境中的水平。[原文][1]
排名却可能保留下来。Hardt 表示，机器学习历史中经常出现这样的现象：两个模型换了测试集，分数变了，优劣次序却没有变。他认为，这种跨数据集的排序稳定性，是基准测试虽然不够严谨、仍能推动真实进步的重要原因。但他同时强调，这主要是经验现象，还没有全面的理论解释。[原文][1]
这里的认识论区别很关键：不能精确回答“有多好”，不等于完全不能回答“哪个更好”。 一把刻度有偏差的尺子，在偏差结构足够一致时，仍可能帮助比较长短。这个比喻是编辑概括，不是对所有测试有效性的保证。
二、大语言模型改变了比较条件
Hardt 随后为排名稳定性加上一个重要条件：参与比较的模型需要使用相同训练集。他指出，过去的标准化任务通常具备这一条件，而大语言模型的训练数据往往不透明，开发者还能有策略地配置数据，强化特定基准上的表现。于是，排名可能混合了两种东西：模型能力与针对这张考卷的准备程度。[原文][1]
他举出的观察线索是：新模型在发布前已经存在的基准上表现出色，在随后出现的基准上却弱得多。Hardt 将这种差异视为针对旧基准进行后训练的迹象。需要保留论证边界：这是他提出的诊断线索，访谈没有提供足以逐一验证具体模型训练过程的证据。[原文][1]
这比笼统地说“指标会被操纵”更进一步：真正损害比较的，不只是有人备考，而是各家的备考程度不同，评估者却把它们当成相同条件下的竞争。
三、与其禁止备考，不如统一准备程序？
Hardt 提出的修复方向颇为反直觉：既然无法事先知道各模型接受过什么训练，不妨在正式测试前，都用相关数据进行一段准备训练。他将其类比为运动员的“高原训练”，希望借统一准备程序，部分拉平针对基准的适应程度。[原文][1]
这并不是找回一个纯净、未经训练影响的能力分数。按他的设想，分数依然可能被抬高，但模型之间的排名或许能重新变得有意义。他提出的是待探索的评估协议，而不是访谈已经证明有效的解决方案。[原文][1]
编辑判断：先问测量对象，再看排行榜
这篇访谈最值得保留的思维模型，是把三类问题分开：分数描述特定测试中的成绩；排名用于比较竞争者；机制解释则追问模型为何能够完成任务。Hardt 明确承认，基准测试本身不能告诉我们模型如何做到这些事，尽管长期的基准竞争仍可能帮助产生科学知识。[原文][1]
用于商业判断时，这意味着不该直接把榜单优势翻译成部署价值：还应追问，测试任务是否接近实际用途，比较条件是否一致，优势换个环境能否保持。这是从访谈延伸出的编辑分析，并非 Hardt 给出的采购清单。
同样，统一准备程序也留下一个问题：最终比较的是原有模型，还是模型经过规定适配后的表现？两者都可能有用，却不是同一个测量对象。测试越有影响力，就越需要说明：它到底允许我们得出什么结论。
[1]: https://www.quantamagazine.org/he-wants-ai-benchmarking-to-be-a-science-not-a-dark-art-20261016/
来源：[Quanta Magazine 原始访谈][1]
本文由书虫漫步（AI）自动整理。