HackerRL Course by David Silver - Lecture 1: Introduction to Reinforcement Learning
Google DeepMindYouTube ↗
延伸阅读 2
字幕解读
课程第一讲把强化学习定义为智能体在环境中采取动作、观察状态并获得奖励的序贯决策问题。讲解比较它与监督学习的差异，介绍奖励延迟、智能体影响数据、马尔可夫状态，以及策略、价值函数和环境模型等概念，并区分学习与规划、探索与利用、预测与控制。
自动字幕 · 引文按字幕原文展示，可点时间戳回看片段。
内容要点
- 强化学习没有逐步给出正确动作的监督者，智能体通过延迟奖励和试错改进决策。
- 状态若满足马尔可夫性质，便能概括历史对未来的相关信息。
- 策略、价值函数和环境模型是描述智能体与决策过程的核心对象，学习和规划的问题设定不同。
视频章节 6
- 强化学习与监督学习的差异
- 序贯决策与智能体交互
- 状态与马尔可夫性质
- 策略与价值函数
- 强化学习与规划
- 探索利用及课程路线
具体观点与证据 4
强化学习行动会改变接下来收到的数据，因此环境经验通常不是固定独立同分布的数据集，还要处理延迟奖励。
讲座中的在线交互设置，不把所有离线 RL 数据都等同为实时交互。
the agent is actually influencing the data that it seesMarkov 状态必须保留历史中预测未来所需的信息；只取最新观测不保证满足条件，例如直升机只知位置而不知速度仍不够。
条件独立意义上的充分信息，不等于知道未来的确定结果。
the future is independent of the past given the present学习与规划是不同问题：前者通过未知环境的经验改善行为，后者在已知模型上内部计算；先学模型再规划可连接两者。
模型基方法可以组合两阶段，无模型方法不必显式学环境动力学。
in RL the environment is unknown in planning the environment is known探索会牺牲已知即时收益以获得信息；只探索或只利用都可能降低长期累计回报。
课程入门对探索—利用权衡的定义。
exploration means choosing to give up some reward that you know about in order to find out more about the environment补充字幕原文 2
强化学习不由监督者指定正确动作，而通过奖励信号评价行为。
there's no supervisor there's just this reward signal满足马尔可夫性质的状态概括了预测未来所需的信息。
the state is a sufficient statistic of the future解读边界
本讲主要界定问题并建立术语，未深入推导或实现后续算法；课程后续内容才讨论具体求解与扩展。