David Silver强化学习公开课自学笔记——Lec1强化学习简介_davild silver 强化学习

本笔记摘自知乎博主旺财的搬砖历险记和叶强，仅用于自学

1.背景介绍

（1）背景

强化学习是多学科多领域交叉的产物，本质是解决决策问题，即学会自动决策，在各个领域体现不同，但都归结为人类如何且为什么能做出最优决策：

• 计算机科学领域体现为机器学习算法
• 工程领域体现为决定序列行为来进行最优控制
• 在神经科学领域体现为理解人类大脑做出决策，主要研究反馈系统
• 在心理学领域研究动物如何做出决策、动物的行为由什么导致
• 在经济学领域体现博弈论的研究。
  

（2）原理

• 强化学习作为一个序列决策问题，连续选择一些行为，从这些行为完成后得到最大的收益作为最好的结果。
• 在没有任何标签告诉算法如何做的情况下，先尝试作出一些行为，然后得到一个结果，通过判断这个结果来对之前的行为进行反馈。
• 通过这个反馈来调整之前的行为，通过不断调整算法，学习到在什么情况下选择哪种行为可以得到最好的结果。

（3）强化学习与其他机器学习的区别

1）RL的挑战和考虑

《Reinforcement Learning: An Introduction》书中指出

• RL领域存在一个挑战，即需要在探索未知的领域（exploration）和利用现有的知识（exploitation）之间做权衡

One of the challenges that arise in reinforcement learning, and not in other kinds of learning, is the trade-off between exploration and exploitation.

• RL考虑，以目标为导向的agent，与不确定的环境之间交互的整个问题，其他机器学习更多将大问题分解成子问题，且不考虑它们如何使用，所以存在很多限制。

Another key feature of reinforement learning is that it explicitly considers the whole problem of a goal-directed agent interacting with an uncertain environment.

2）与监督学习的区别

• There is no supervisor, only a reward signal.
  • 监督学习有标签告诉算法输入对应何种输出（如分类、回归问题）
  • 强化学习没有标签，只有一系列行为后最终反馈回来的reward signal来判断当前行为好坏
• Feedback is delayed, not instantaneous.
  • RL的结果反馈有延时，有时需要走好多步才知道之前某步的好坏
  • 监督学习的选择好坏立即反馈给算法
• Time really matters (sequential, non i.i.d data)
  • RL具有强时间相关性
  • 作为序列决策问题，属于非独立同分布数据[[数学基础#7.独立同分布]]
• Agent’s actions affect the subsequent data it receives
  • RL的输入总在变化，每当算法做出一个行为，它就影响下一次决策的输入
  • 监督学习中的输入是独立分布的

3）与非监督学习的区别

《Reinforcement Learning: An Introduction》书中指出
非监督学习主要是为了挖掘无标签数据之间的内部关联（如聚类问题），RL则是为了最大化奖励

Reinforce learning is also different from what machine learning researchers call unsupervised learning, which is typically about finding structure hidden in collections of unlabeled data.

4）举例

数据：人脸图片

• 监督学习：给定标签（人名），学习这些人脸是谁的脸。监督学习要求带标签的数据，如何标注数据是一门学问。数据较难获得。
• 非监督学习：没有标签，判断哪些图片是同一个人。数据数量庞大容易获得。
• 强化学习：没有标签信号，只有奖励信号。即时奖励：只告诉分对还是分错；延迟奖励：分类完毕以后，得到总分数。

2.RL构成

（1）奖励Rewards

1）RL奖励假设

可以没有观测，但是必须有奖励！！！奖励是RL区别于其他机器学习的标志特征。

• 奖励$R_t$是一个标量反馈信号
• 反映了agent在时刻t行为的好坏
• agent的目的是最大化累积回报

RL奖励假设：所有的目标都可以表示为最大化期望累计回报

【如果一个问题不满足奖励假设，就不能用强化学习解决！】

2）Rewards举例

只有正奖励，或只有负奖励，也可以。

（2）序列决策 Sequential Decision Making

• 目标：挑选动作，以最大化将来的累计回报
• 动作可能会产生长期后果
• 奖励会有延迟（eg.下围棋只有在最后才能获得奖励）
• 可能牺牲即时回报来获得长期回报更高，即贪心策略不可行。

（3）智能体和环境

• agent
  • 强化学习需要优化的部分，是我们能够精确控制的部分
• environment
  • 我们不能直接控制的部分
    
• 在每个步骤$t$，agent的表现：
  • 执行动作$A_t$，如决定围棋的落子位置，机器人下一步怎么走
  • 接受观察$O_t$，如摄像头拍摄到一副快照——当前场景
  • 接收标量奖励$R_t$，表明agent在第t步做出的决策有多好/坏
  • 声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/668170