(基础)001 - AWS Deepracer简介

什么是AWS Deepracer

个人理解AWS Deepracer是一个提供强化学习(RL) 的平台，通过设计奖励函数reward_function使得小车为了获取最大奖励自主学习。
1

下面是我找到的对AWS Deepracer 官方的解释:

AWS DeepRacer 是一个综合性的学习系统，供各个级别的用户用来学习和探索强化学习并试验和建立自动驾驶应用.
它包括以下组件:

• AWS 深度管理器控制台 : AWS Machine Learning服务到训练和评估强化学习模型在模拟自动驾驶环境.
• AWS DeepRacer 车辆 : 1/18 比例的 Racer 车辆，能够在训练有素的 AWS DeepRacer 模型上运行推理用于自动驾驶。
• AWS DeepRacer 联赛 : 世界上首个全球自动赛车联赛。争夺奖品、荣耀和晋级冠军杯的机会。

AWS DeepRacer 是一个集成的学习系统

强化学习（特别是深度强化学习）已被证明可有效解决一系列自主决策问题。它在金融交易、数据中心冷却、车队物流和自动驾驶赛车等领域都有应用。
强化学习有可能解决现实问题。但是，由于强化学习的技术范围和深度非常广泛，因此，它具有陡峭的学习曲线。在真实试验中，您需要构建一个物理代理（例如，一辆自动驾驶赛车）。它还要求您保护物理环境（例如，赛道或公路）。环境可能是成本高昂的、危险的和耗时的。这些要求不仅仅是理解强化学习。
为帮助减少学习曲线，AWS DeepRacer 通过三种方式简化了此过程：

• 通过提供一个向导来指导训练和评估强化学习模型。该向导包括预定义的环境、状态、操作和可自定义的奖励函数。
• 通过提供模拟器来模拟虚拟代理和虚拟环境之间的交互。
• 通过将 AWS DeepRacer 车辆作为物理代理。使用车辆在物理环境中评估训练后的模型。这与真实的使用案例非常相似。

如果您是一个经验丰富的机器学习实践者，您将发现 AWS DeepRacer 为在虚拟和物理环境中为自动驾驶赛车建立强化学习模型创造了良机。总之，使用 AWS DeepRacer 为自动驾驶赛车创建强化学习模型，步骤如下：

1. 为自动驾驶比赛训练自定义的强化学习模型。通过使用与 SageMaker 和 AWS RoboMaker 集成的 AWS 深度中心控制台来完成此操作。
2. 使用 AWS DeepRacer 模拟器在虚拟环境中评估模型和测试自动驾驶赛车。
3. 将训练后的模型部署到 AWS DeepRacer 模型车辆，以便在物理环境中测试自动驾驶赛车。
1
2
3