HackerTube English?

Ilya Sutskever (OpenAI Chief Scientist) — Why next-token prediction could surpass human intelligence

Dwarkesh PatelYouTube ↗

延伸阅读 2

预测下一个词，离回答一个人还有多远？ →把三个问题分开：输入如何变成表示，训练如何改变网络，一个善于续写的模型又如何成为助手。否则很容易拿其中一层解释全部行为。本片参与的问题 · 下一个单位是什么，预测时准许看多远？答对一道题，怎样知道学生真的懂了？ →先让两个人说出自己的推理，再换一种表述请他们重建答案。从同伴讲解到线性代数的直觉，这些材料在寻找能暴露理解缺口的任务。本片参与的问题 · 补出一个代词，和解释它为何指这个人

字幕解读

Sutskever 提出一种推测：要把下一词元预测得足够好，模型可能需要学到产生语言的世界结构。这是解释训练为何可能产生复杂能力的假说。

公开机器转写（可能有听写错误） ↗ · 引文按字幕原文展示，可点时间戳回看片段。

补充字幕原文 2

The underlying reality that led to the creation of that token

What is it about people that creates their behaviors

Hacker News 评论

查看 HN 原评论 ↗