二十二、AI 评测榜单怎么看 ⭐ 别被忽悠

榜单是参考不是真相。最靠谱的是"在你自己的任务上测一遍"。

常见榜单

榜单	测什么
MMLU	广博知识
GPQA	研究生级推理
SWE-bench ⭐	真实GitHub修bug(开发者最该看)
HumanEval	基础编码
MATH/AIME	数学
MMMU	多模态
LMArena ⭐	真人盲测投票(真实体验)

⭐ 榜单猫腻

数据污染(测试题混进训练集,分虚高)· 过拟合刷榜(应试)· 榜单饱和(都90+分不出高下)· 测的≠你要的 · 厂商只报好看的。

静态榜 vs 真人榜

静态(MMLU):客观可复现,但会被污染/刷榜。LMArena:真实体验难作弊,但主观偏"讨喜"。两个都看。

⭐ 正确选型姿势(呼应第11课)

① 榜单粗筛候选(SWE-bench/LMArena)
② 拿你的真实场景+评估集测一遍
③ 谁在"你的活"上好选谁
④ 再算成本/速度综合定

通用榜第一 ≠ 在你的任务上第一。你的评估集才是对你唯一有效的榜单。

---