公开考题拿了高分，换道新题还会吗？

假设你要选一个模型帮忙处理故障报告。榜首模型在公开考试里平均分最高。你真正想知道的是，它读到一份刚写好的报告，能不能从一堆日志里挑出值得查的那一行。中间还差哪一步？

排行榜替你做了哪一轮筛选？

Jeremy Howard 在演讲里打开一张模型排行榜。他看见了平均分最高的模型，也坦言自己还没用过它。榜单给了他一份试用清单。至于哪一个适合自己的工作，他建议拿实际任务去试。

他提到两个会影响判断的因素。一是考题和工作可能要求不同的能力。二是有些公开题可能已经进入训练集。即使这道题和工作很像，一次答对也很难区分模型是解出了新问题，还是认出了熟悉的题目。仅凭一个分数，无法判定具体模型见过哪道题。

these metrics are not particularly well aligned with real life usage

给熟悉的题目多加一个条件

Sébastien Bubeck 研究早期的 GPT-4 时，也不知道训练材料里到底有什么。他做了一个实验：请模型证明素数有无穷多个，而且证明的每一行都要押韵。数学证明本身很经典，加上押韵，就能分别观察两件事。证明还成立吗？每一行真能读成诗吗？

这比只问「会不会证明」多了一种看答案的方式。即使两项都做到了，要判断它能处理多大范围的新问题，还需要换条件、继续追问。一次有趣的演示能帮你发现值得测的能力，要估计成功率，还得再做一组题。

we don't know what gpt4 was trained on I don't know what gpt4 was trained on

换题之前，先写下什么算答对

回到故障报告。可以选一份刚发生、后来已查明原因的案例，藏起最终结论，让模型指出最值得先查的日志，并说出理由。再改掉一条关键日志，让同事先判断下一步排查方向该不该变，再问一次模型。

这是把两场演讲用到工作里的一个办法。Howard 提醒你选对任务，Bubeck 给了你改变任务条件的思路。如果关键证据变了，模型还照抄上次的判断，你就知道下次该测什么了。