当前位置:   article > 正文

为何使用isaac gym做强化学习

isaac gym

前言

      本文仅对比Gazebo,Pybullet,Isaac Gym三款仿真软件。详细对比可参考:

Gazebo,Pybullet,Isaac Gym用于强化学习训练对比-CSDN博客

1仿真软件概述

Gazebo:

        Gazebo 提供高保真的物理仿真,适合复杂的机器人模拟和实际应用中的验证。支持多种传感器和机器人模型,能够模拟复杂的环境和任务。拥有丰富的功能和插件,涵盖了从传感器仿真到机器人控制的各个方面。提供与 ROS(机器人操作系统)的无缝集成,方便实际机器人应用的开发。

        但在实际应用上Gazebo 的单实例仿真性能较高,Gazebo 的物理引擎主要依赖于 CPU,每个 Gazebo 实例都会消耗大量的系统资源(CPU、内存),在单台机器上运行大量实例可能不切实际。可以尝试将 Gazebo 实例分布在多台机器上进行仿真,每台机器运行若干实例,并通过网络通信进行协调。这种方法需要一个分布式调度系统来管理和协调多个仿真实例。虽然这种方法可以一定程度上实现并行仿真,但实现和维护的复杂性较高。而且仿真速度相对较慢,难以快速迭代强化学习算法。

        所以Gazebo不合适大规模并行强化学习训练。

Pybullet:

        PyBullet 的架构相对轻量(低保真),能够快速启动和运行多个仿真实例,而不会消耗过多的系统资源。适合在单个工作站上运行多个仿真实例。虽然 PyBullet 的核心物理引擎主要依赖于 CPU,但它可以被集成到GPU训练。

        但相比 Gazebo,物理仿真精度较低,可能不适用于高保真度要求的任务。功能和插件数量不如 Gazebo 丰富,传感器仿真相对简单。

Isaac Gym:

        NVIDIA Isaac Gym 是专门为大规模并行仿真和强化学习设计的仿真平台,能够在单个 GPU 上运行数百到数千个仿真实例,从而显著加速训练过程。与主流深度学习框架(如 TensorFlow 和 PyTorch)紧密集成,便于进行强化学习训练。但对硬件要求较高。

特性GazeboPyBulletIsaac Gym
高保真物理仿真
资源消耗高 (CPU)低 (CPU),中 (GPU)高 (GPU)
并行仿真能力
GPU 利用
功能和插件丰富较少
深度学习集成
易用性
社区支持逐步增加
硬件要求

        综合考量,在硬件支持的前提下,Isaac Gym是做强化学习的最佳选择。

2.Isaac Gym使用

2.1显卡选择

        目前支持Ubuntu18.04和Ubuntu20.04两个系统,不支持其他系统,另外不建议在Windows下使用虚拟机。使用Isaac Gym训练机器人,主要依赖于GPU性能,除算力因素外,因其大规模并行计算能力,对显存要求较高,通常要求8G以上,但如果想更大规模训练,需要考虑12G以上,主流论文中通常使用24G以上的GPU作为训练卡,而目前面向消费市场的RTX显卡,支持24G的包括,RTX3090和RTX4090,其他RTX系列最多支持到16G,从价格考量,RTX3090是优选,除这两款外可选RTX4080,但不建议RTX4080 super(驱动支持原因),最后可以考虑RTX4070和RTX4060Ti,从算力上讲前者更有优势,但12G的显存是其硬伤,具体选择显卡时,要综合考虑对算力和显存的要求。

2.2环境配置

        选择好系统版本之后,需要安装虚拟环境,因为我们可能会配置不同的机器人,不同的虚拟环境可以避免依赖报之间的冲突。虚拟环境的设置依赖于anaconda,配置过程可参考该博客

Ubuntu18.04安装Anaconda(最新最全亲测图文并茂)_ubuntu18如何安装anaconda arm-CSDN博客

Ubuntu20.04 安装 Anaconda步骤_ubuntu20.04安装anaconda-CSDN博客 

2.3使用

使用教程较多,不再详细阐述,以下为详细机器狗和一款国产机械臂的配置使用教程 :

Isaac Gym环境安装和四足机器人模型的训练-CSDN博客

使用Isaac Gym 来强化学习大象机器人mycobot 机械臂执行抓取任务_强化学习控制机械臂-CSDN博客 

更多详细资料可参考官网Isaac Sim - Robotics Simulation and Synthetic Data | NVIDIA Developer

 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/煮酒与君饮/article/detail/827930
推荐阅读
相关标签
  

闽ICP备14008679号