赞
踩
强化学习两大类,Policy-Based(Policy Gradients) Value-Based(Q-Learning)。Policy-Based直接预测环境状态下应采取Action,Value-Based预测环境状态下所有Action期望价值(Q值),选择Q值最高Action执行。Value-Based适合少量离散取值Action,Policy-Based适合Aciton种类多或连续取值Action环境。Policy Network、Value Network。
Policy Gradients方法训练策略网络。模型通过学习Action在Environment获得反馈,用梯度更新模型参数。训练过程,模型接触到好Action及高期价值,和差Action及低期望价值。通过样本学习,模型逐渐增加选择好Action概率,降低选择坏Action概率,完成策略学习。直接学习当前环境应该采取策略,如选择Actionc概率,或Action具体数值。策略网络是End-to-End(端对端)方法,直接产生最终策略。
根据环境状态和采取行动预测后续环境状态,利用信息训练强化学习模型,是Model-Based RL。Model-Free RL直接对策略或Action期望价值预测,计算效率高。复杂环境,主要用Model-Free RL,供给更多样本训练,弥补没有Model预测环境状态问题。
Actor:训练的是策略网络,输入state,输出采取每个策略的概率,通过梯度下降的方式进行训练,不断得提高reward比较高的行为出现的概率、
参数更新可以略过,稍微有点复杂,总的来说每个状态
τ
\tau
τ对应这一个reward
R
(
τ
)
R(\tau)
R(τ),和一个转移到这个状态的概率
p
p
p,在与环境interaction的时候,如果这个reward比较大,那么我们提高这个
τ
\tau
τ发生的概率,否则减小他。
Critic:是一个评估者,预测环境状态下所有Action期望价值(Q值),选择Q值最高Action执行。
帅的人作为一个critic,起到评估actor的作用,而value function取决于两件事情,actor本身和目前的state。就图而言,当阿光比较弱的时候,大马步飞不是一步好棋(actor=弱,state=大马),但是当actor变强之后,这一步却可能是好棋。
这个分类比较抽象,关键点在于一直在与环境交互的agent和你想要学的agent是不是同一个
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。