Hacker游戏代理的进步，究竟进步在哪里？
分数上涨可能来自更好的网络、更深的搜索，或者评分规则里的漏洞。分别追踪代理看到了什么、尝试了什么、最后为什么得到奖励。
本文的问题 · 5
从神经网络结构走到可演化的网络拓扑
But what is a neural network? 解释层间激活如何传递，并把整个网络描述为输入到输出的函数；MarI/O 展示 NEAT 从基础网络开始，通过适应度筛选和演化连接结构来学习游戏操作。前者提供网络的计算视角，后者给出网络结构如何在特定任务中演化的实例。
对照原文与时间戳 · 2
the heart of the network as an information processing mechanismwithout presupposing the best structure for the neurons and their connections两者讨论的层次不同：3Blue1Brown 讲解基础前馈网络结构，MarI/O 展示特定游戏与 NEAT 方法；不能据此推断 MarI/O 使用了前一视频讲解的训练方案，也不能泛化其效果。
奖励学习与遗传筛选都用反馈，但更新单位不同
强化学习课程描述智能体通过试错和奖励信号改善动作；MarI/O 则依据关卡推进距离与速度计算适应度，筛选并繁殖网络。两者都利用任务反馈，但一种更新策略决策，另一种选择跨代网络个体，能避免把所有“没有标签的学习”混为一类。
对照原文与时间戳 · 2
there's no supervisor there's just this reward signalOnly the neural networks that produce the highest fitness are selectedMarI/O 使用遗传算法/NEAT，不是强化学习；此关系用于区分机制，不能据此比较两者普遍优劣。
不同代理暴露不同限制：结构演化与搜索视野
MarI/O 从基础网络演化神经元和连接结构；NES 视频指出俄罗斯方块代理因前瞻不足而受限。并读可区分结构如何形成与决策向前看多远这两类问题。
对照原文与时间戳 · 2
without presupposing the best structure for the neurons and their connectionsthis algorithm does not think very far ahead两种方法针对不同游戏与状态编码；NES 方法依赖目标指标对进度有用，并明确在需要更长远规划的情形下受限。
游戏智能的失败可以来自输入和目标的限制
盲棋只给占位掩码，因此相同输入可能对应不同真实棋盘；PlayFun用示范RAM构造上升指标并短视搜索，俄罗斯方块中堆叠小得分反而导向失败。两例说明评估行为前需要检查表示丢失了什么、指标奖励了什么。
对照原文与时间戳 · 2
the representation is ambiguous and of course when it gets it wrongplaying Tetris well requires some thinking ahead, and this algorithm does not think very far ahead.一端是不可辨识输入，一端是目标和规划视野，两者不是相同故障，也不能由此否定更完整的学习系统。
输入表示丢掉的信息，会限制系统能从当前观察中推断什么
不完整观察不等于永远无法推断；额外历史、反馈或先验可能改变答案。
对照原文与时间戳 · 3
this has to have some mistakes since the representation is ambiguousthe future is independent of the past given the presentThe white squares stand for blocks the player can stand on读完再想一步
如果只许改观察、搜索深度和奖励中的一项，你会先改哪项来检验解释？