Issac Gym指导书翻译 1.1_issac gym ppo算法

关于Isaac Gym
什么是Isaac Gym？

Isaac Gym是NVIDIA为强化学习研究设计的原型物理仿真环境。

Isaac Gym允许开发者使用端到端的GPU加速的强化学习（RL）进行物理基系统的实验。与其他类似的‘gym’风格系统不同，在Isaac Gym中，仿真可以在GPU上运行，将结果存储在GPU张量中，而不是将它们复制回CPU内存。提供了一个基于张量的API来访问这些结果，允许在GPU上进行RL观察和奖励计算。

这种组合允许在单个GPU上同时模拟数千个环境，允许之前可能需要整个数据中心才能运行的实验在单个工作站上运行。

Isaac Gym包括一个基本的PPO实现和一个简单的RL任务系统，可以与之一起使用，但用户可以根据需要替换其他任务系统和RL算法。

Isaac Gym的核心特性包括：

• 支持导入URDF和MJCF文件
• GPU加速的张量API，用于评估环境状态和应用动作
• 支持各种环境传感器 - 位置、速度、力、扭矩等
• 运行时物理参数的域随机化
• 雅可比/逆运动学支持

Isaac Gym与Omniverse和Isaac Sim的关系是什么？

在当前的原型实现中，Isaac Gym是一个独立系统，不直接与其他NVIDIA仿真或机器人产品接口，尽管它使用相同的PhysX仿真引擎作为底层。

虽然Omniverse和基于Omniverse的Isaac Sim使用Pixar的USD场景描述语言来描述要仿真的环境，但Isaac Gym环境设置需要使用Python代码和自定义API，尽管它也可以从URDF和MJCF格式文件中导入机器人描述。

Isaac Gym中的渲染相对基础，并不支持光线追踪或Omniverse中提供的更复杂的合成数据传感器。
Isaac Gym的未来

Isaac Gym核心的基于张量的物理仿真API将在NVIDIA的Omniverse平台的未来版本中提供，但是用于环境设置的API将转换为基于USD。在迁移到Omniverse的过程中，一些功能和API无疑会发生变化，同时也会添加新的API以支持额外的Omniverse功能，如高级渲染和软体仿真。

更多关于Isaac Gym功能转移到Omniverse的信息将在NVIDIA Dev Talk论坛上分享，当它可用时。

与此同时，我们邀请研究人员和学术界探索基于GPU的强化学习的潜力，并向我们提供您的体验反馈！