<p>做强化学习（RL）和机器人方向的小伙伴通常都需要有个仿真环境来验证自己的方法，或者是基于项目进行场景开发。那么有哪些好用常用的训练环境和平台呢？我总结了以下常用场景（排名不分先后）。如果有其他好用的环境，欢迎补充！</p><h2>1、<strong>pysc2</strong>（ StarCraft II Learning Environment ）</h2><p>暴雪公司（游戏公司）和 &nbsp;DeepMind 公司合作出品的， 专门用于训练 星际争霸游戏的AI对战的RL台。</p><p><img src="https://pic1.zhimg.com/v2-0c8ac5ccc87f0a1e6b51c3753d2428ca_1440w.jpg" alt="" data-href="" style="width: 100%;"/></p><h2>2、<strong>TORCS </strong>（The Open Racing Car Simulator)</h2><p><img src="https://pic2.zhimg.com/v2-93cdd9cd73c232e2702b57096c3d00ff_1440w.jpg" alt="" data-href="" style=""/></p><h2>3、<strong>RLLAB</strong></h2><p><img src="https://pica.zhimg.com/v2-6a87b8f1c411a3fcb2b5fffe313a57de_1440w.jpg" alt="" data-href="" style=""/></p><h2>4、<strong>Gym</strong></h2><p>gym由openAI 公司出品，老牌王者， 集成的环境非常多，同时也有多个第三方平台提供接口。</p><p><img src="https://pic1.zhimg.com/v2-90c840b24745fa03d01c9bb6cc007da0_1440w.jpg" alt="" data-href="" style="width: 100%;"/></p><h2>5、<strong>Baselines </strong></h2><p><img src="https://pic4.zhimg.com/v2-3e45b3d2af46e82697fd1cd5141153c9_1440w.jpg" alt="" data-href="" style="width: 100%;"/></p><h2>6、<strong>DeepMind Lab</strong></h2><p>DeepMind Lab （原 Labyrinth）是由 DeepMind发布的 3D 迷宫场景强化学习平台。 之前是 DeepMind内部使用的，后来开源了。</p><p><img src="https://picx.zhimg.com/v2-299000339250495cff0811488f6c27ef_1440w.jpg" alt="" data-href="" style=""/></p><h2>7、<strong>MuJoCo</strong></h2><p>MuJoCo(Multi-Joint dynamics with Contact)是一个模拟的机器人，生物力学，图形和动画等领域的物理引擎。之前收费的，现在免费了。</p><p><img src="https://pic4.zhimg.com/v2-eb7501c88b4be3fe6eb46f44fac5c019_1440w.jpg" alt="" data-href="" style=""/></p><h2>8、Isaac Gym</h2><p>由NVIDIA开发的新兴平台，优势是做集群，还处于成长阶段，但是收到大量好评，一些公司基于此做开发。</p><p><img src="https://pic2.zhimg.com/v2-01419cbf1fd9c407a966051a174c4aad_1440w.jpg" alt="" data-href="" style=""/></p><h2>9、Unity mlagent </h2><p>Unity 提供的强化学习环境，因为有强大的游戏开发性能支撑，具有很大的环境自由度。但是接口方面不是很完备，二次开发工作量比较大。</p><p><img src="https://pica.zhimg.com/v2-618c77fda074c6ed16d9c60523a89512_1440w.png" alt="" data-href="" style=""/></p><h2>10、Google Research Football</h2><p>代码:<a href="https://link.zhihu.com/?target=https%3A//github.com/google-research/football" target="_blank">google-research/football</a></p><p><img src="https://pica.zhimg.com/v2-79d2499b1511eefdec1f3121ac500154_1440w.jpg" alt="" data-href="" style="width: 100%;"/></p><p><br></p><h3>11、AI2-THOR</h3><p><img src="https://pic4.zhimg.com/v2-3903131e4ff1d6473c6d6164f6605d75_1440w.jpg" alt="" data-href="" style=""/></p><p><strong>12、 MAVA</strong></p><p><img src="https://pic3.zhimg.com/v2-c884c0874117e2090104902e49862396_1440w.jpg" alt="" data-href="" style="width: 100%;"/></p><p><strong>13、MET4FOF</strong></p><p><img src="https://pica.zhimg.com/v2-3dbd265133d6c0b5f4007595728b2e28_1440w.jpg" alt="" data-href="" style=""/></p><p><strong>14、MuNet</strong></p><p><img src="https://pic2.zhimg.com/v2-bcb1eda584fe5272a9d1e16318bfd507_1440w.jpg" alt="" data-href="" style="width: 100%;"/></p><p><strong>15、Genesis</strong></p><p><img src="https://pic2.zhimg.com/v2-4f3ebb6be962bff86188571e739972fd_1440w.jpg" alt="" data-href="" style=""/></p><p>主要特点</p><p>相比之前的仿真平台，Genesis具有以下几个关键特点：</p><p> 完全Python化，前端界面和后端物理引擎均采用Python原生开发。</p><p> &nbsp;安装便捷，API设计极其简单且用户友好。</p><p> &nbsp;并行仿真具有前所未有的速度：Genesis是世界上最快的物理引擎，仿真速度比现有的GPU加速机器人仿真器(Isaac Gym/Sim/Lab、Mujoco MJX等)快10~80倍(是的，这听起来有点科幻)，同时完全不影响仿真的准确性和保真度。</p><p> &nbsp; 一个统一的框架，支持各种最先进的物理求解器，可以对广泛的材料和物理现象进行建模。</p><p> &nbsp; 具有优化性能的真实感光线追踪渲染。</p><p> &nbsp; 可微分性：Genesis设计上完全兼容可微分仿真。目前，我们的MPM求解器和工具求解器是可微分的，其他求解器的可微分性也将很快添加(从刚体仿真开始)。</p><p> ☝ &nbsp;物理准确且可微分的触觉传感器。</p><p> &nbsp;原生支持生成式仿真，允许通过语言提示生成各种模态的数据：交互场景、任务提案、奖励、资产、角色动作、策略、轨迹、相机运动、(物理准确的)视频等。</p>