Hacker从结果回到依据
测试与评测
测试全绿、排行榜第一、实验成功，都还没有回答同一个问题：这个结果究竟证明了什么？沿着代码、考题和测量方法，检查结论成立的条件。
12篇阅读 · 三条路径
为什么测试全绿，程序还是错了？
从最熟悉的绿色测试灯开始，区分程序符合预期与预期本身正确。
开始阅读 ↗通过了，为什么还会错？
先追问检查了什么，再追问检查工具本身。
01为什么测试全绿，程序还是错了？Gary Bernhardt 的隔离测试和 Andrej Karpathy 的训练演示里，代码出错时，屏幕上都可能传来好消息。6 份来源 · 原文可回看↗02测一条业务规则，为什么要连数据库？把「谁该收到提醒」单独拿出来，就能分别检查规则是否正确、通知能否送达。2 份来源 · 原文可回看↗03用户今天续费了，还能解释昨天那封催缴邮件吗？一次判断要能重现，除了规则本身，还需要当时交给它的那份数据。9 份来源 · 原文可回看↗04机器说「检查通过」，谁能独立核对？从一张选票追到一块主板。一路只问三个问题：检查的是哪件东西，谁送来这个答案，以及作决定的人能否看到同一份证据。17 份来源 · 原文可回看↗05线上只失败过一次，怎样把故障变成能重放的测试？设想一笔已确认的转账在主节点切换后查不到了。沿着六段工程讲解，把事故拆成可以保存的输入、可以删减的操作和必须成立的性质，再检验修复是否真的触达故障。6 份来源 · 原文可回看↗
分数变好，目标就达到了吗？
比较考题覆盖范围，以及系统主动追逐指标时发生的事。
换一个测量条件，结论还成立吗？
从实验条件、测量位置和使用场景重新审视一个好结果。
01实验测到的，真是日常建议里说的那件事吗？从一个早晨散步的例子开始，试着给观察写上准确的动词：移动眼睛、报出字母、测出一种酶。动词一换，我们可能已经在回答另一个问题。28 份来源 · 原文可回看↗02同一台机器，换个地方量，为什么结论变了？在第一轮排水时打开洗碗机，再把面包从烤面包机中拿走。两个小实验迫使我们说清楚测量从哪里开始、到哪里结束，以及仪器究竟感知了什么。14 份来源 · 原文可回看↗03标称成绩很好，它到底替我测了哪种用法？从一只白炽灯的寿命开始，比较洗涤剂、热泵、冬季车道与食品标签。每报一个漂亮数字，先把它对应的工作条件写回来。12 份来源 · 原文可回看↗04做出一枚芯片，离一条可持续的产线有多远？从一枚通过规格测试的芯片往回走，数一数它没有告诉我们的事：同一片晶圆上有多少良品，设备由谁调校，产线中断以前是否已在承受资金压力。8 份来源 · 原文可回看↗
换一个领域，带走一个问题。
下面的连接来自已有主题，不代表两个领域使用相同的证明标准。
表示与理解 →已整理的主题关系Gimbal UFO - A New Analysis · 10:22 ↗ Apollo Guidance Computer Part 1: Restoring the computer that put man on the Moon · 8:51 ↗ 在全局图查看这些联系 →
把检查仪器也放进问题里
AGC 修复通过电路图与内部信号检查逻辑功能；影像分析则把光路与成像处理纳入解释。两者都提醒我们不要把输出直接等同于被测对象，而要寻找可单独检查的中间环节。
查看连接两端的原文
glare orientation is relative to the camerawe can get right in and check the signals on the chip软件与系统 →已整理的主题关系Rich Hickey · Are We There Yet? · 40:03 ↗ The Implementation of Rewind in Braid · 5:06 ↗ 在全局图查看这些联系 →
什么必须随时间保留？
快照让读者能指向旧值。《时空幻境》把同一个问题变成可操作的检验：恢复到那一帧后，能否从那里继续玩？两个例子的存储实现各有不同。
查看连接两端的原文
the next version of the value shares a lot of structure with the prior versionrecord the full state of the world, because you know that's robust. You know you can reproduce that.跨领域问题 →已整理的主题关系Jeremy Howard · A Hackers’ Guide to Language Models · 59:39 ↗ Why Your Vote Doesn't Count · 1:21 ↗ 在全局图查看这些联系 →
榜首保留什么信息
全国票数被归并成区内赢家后，会丢掉一部分票差；榜单把多个样例归并为一个分数后，也要追问哪些表现被抹平。
查看连接两端的原文
these metrics are not particularly well aligned with real life usage80% -- wanted someone else as king