DRL基础（十二）——近端策略优化算法PPO【附代码】_openai five源码

作者：Li_阴宅 | 2024-08-04 14:04:35

踩

openai five源码

主要内容：

讲解PPO提出的背景

讲解PPO算法的理论和技巧

基于Pytorch实现PPO算法，并用于解决gym环境中乒乓球游戏(Pong)

PPO完整代码下载链接见文末

文章目录

1 REINFORCE存在的问题
2 重要性采样
3 代理目标函数及其裁剪
4 使用优势函数评价动作
5 实现代码

2016年10月OpenAI公司发布了《Dota2》强化学习游戏智能体OpenAI Five，并且经过多年的开发训练后战胜了当时的世界冠军团队OG，技术细节可以看发表的论文。OpenAI Five的核心算法是PPO，一种称为近端策略优化的算法，属于策略梯度算法的一种。OpenAI Five和PPO的成功大大增加了AI研究者对强化学习解决复杂问题的信心，PPO也成为使用强化学习解决各类问题的一个基准算法。
在这里插入图片描述

1 REINFORCE存在的问题

PPO属于策略梯度算法，即通过求解强化学习问题中目标函数的梯度，利用梯度提升的方法训练强化学习智能体。这种方式的鼻祖应该算REINFORCE算法，上一节我们详细介绍并实现了该算法。REINFORCE算法总结起来，包含以下几个步骤：

<

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Li_阴宅/article/detail/928146