HackerTube English?
学习信号与模型行为 →

司机接管了一次,自动驾驶系统该学到什么?

一个路口、一笔接管记录、一次软件更新。跟着 openpilot、Tesla 和 Waymo 的工程访谈,区分能帮助定位故障的线索、值得送进训练的样本,以及可以检验修复的旧场景。

本文的问题 · 4
  1. 路口那个不动的点是什么?
  2. 一次接管是线索,谁来给它定性?
  3. 补一类样本,再让新版重遇旧路口
  4. 一个布景障碍能检验多大的驾驶能力?

路口那个不动的点是什么?

车正驶向红灯,雷达报出一个静止物体。若它是路牌,急刹可能是错的;若它是排队的车,继续开可能是错的。Hotz 用这对相反的后果解释当时 openpilot 遇到的一个具体难题。先记下两个解释都能产生的观察,再问哪种额外信息能把它们分开。他提出的是结合视觉。这个例子也解释了为什么只存一行「驾驶员刹车」的日志很难改进感知。

原文与时间戳 · 2
it's hard to differentiate a stopped car from a signpost
George Hotz: Comma.ai, OpenPilot, and Autonomous Vehicles | Lex Fridman Podcast #31 · ▶ 49:59–50:03
You have to do this visually
George Hotz: Comma.ai, OpenPilot, and Autonomous Vehicles | Lex Fridman Podcast #31 · ▶ 50:06–50:07

一次接管是线索,谁来给它定性?

司机轻碰方向盘,把车带过路口。Musk 在访谈里给出两个可以解释同一动作的理由:想按自己的习惯开,或者系统真的走错了。Hotz 在另一次访谈里描述一个设想中的更新循环,把接管前后的数据带回训练。把两段放在一起,标注任务就具体了:回看原来要走的轨迹,记下司机改了什么,以及环境中哪条线索支持这次修改。只统计接管次数,无法区分这两种理由。

原文与时间戳 · 4
did they take over for convenience
Elon Musk: Tesla Autopilot | Lex Fridman Podcast #18 · ▶ 11:12–11:15
what is the optimal spline for traversing an intersection
Elon Musk: Tesla Autopilot | Lex Fridman Podcast #18 · ▶ 11:21–11:26
user disengages, we train on that
George Hotz: Hacking the Simulation & Learning to Drive with Neural Nets | Lex Fridman Podcast #132 · ▶ 61:55–62:00
with some labeling could indicate the failure of the system
George Hotz: Hacking the Simulation & Learning to Drive with Neural Nets | Lex Fridman Podcast #132 · ▶ 65:42–65:47

补一类样本,再让新版重遇旧路口

若判断出错误来自静止车辆,下一步很容易混淆两份清单。Karpathy 要找的是训练集覆盖不足的同类片段,目的是教会模型处理这类路况。Arnoud 讲的回放则是让更新后的软件再跑已经见过的场景,并和道路测试、专门构造的测试相互印证。为同一个路口各写一行:哪些片段会进入训练,哪些条件要留下来检验修改。训练过的路口有了改善,还要在别的路口再问一次。

原文与时间戳 · 4
they weren't told what to do in those rare cases
Andrej Karpathy: Tesla AI, Self-Driving, Optimus, Aliens, and AGI | Lex Fridman Podcast #333 · ▶ 84:35–84:38
mine the parts that are not yet represented well in the data set
Andrej Karpathy: Tesla AI, Self-Driving, Optimus, Aliens, and AGI | Lex Fridman Podcast #333 · ▶ 84:57–85:02
another one is around simulation
Sacha Arnoud, Director of Engineering, Waymo - MIT Self-Driving Cars · ▶ 55:26–55:31
replay all those miles that you've driven
Sacha Arnoud, Director of Engineering, Waymo - MIT Self-Driving Cars · ▶ 57:09–57:15

一个布景障碍能检验多大的驾驶能力?

演示者安排假人和伪装布景,观察不同车辆是否停车。记录那一刻的系统配置、目标的位置和具体反应,比只写「摄像头赢」或「激光雷达赢」更容易复查。若要把它变成下一版的回归测试,还要固定目标、速度、路线和通过条件。一次特设情境能给我们一条可追查的失败线索,对传感器方案的总体结论则需要覆盖更多条件。

原文与时间戳 · 2
only relies on simple cameras and its image processing
Can You Fool A Self Driving Car? · ▶ 9:00–9:05
detect the kid
Can You Fool A Self Driving Car? · ▶ 9:52–9:54

读完再想一步

挑一次人工干预。写下你以为系统会做什么、人实际改了什么、哪条环境线索支持这次修改。留下一个和训练样本不同的路口:新版在那里要做到什么,你才愿意说它学会了?