2024年，具身智能会成为下一个主流方向么？

作者 | 东林钟声  编辑 | 汽车人

原文链接：https://zhuanlan.zhihu.com/p/682978828

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『具身智能』技术交流群

本文只做学术分享，如有侵权，联系删文

2024年应该是具身智能的一个大年，好多同学和朋友们问我应该如何入门具身智能，其实这个问题真的是不好回答，因为Embodied涉及到的知识面比较多而且零散不够系统，有Robotics、有Control还有神经网络模型等等知识。我就按照我的理解简单总结一个入门学习的技术路线，如果有不合适的地方也非常希望大家一起讨论。

基础知识

1. Robotics

关于Robotics的基础知识是一定要掌握的，比如D-H参数、正逆运动学、雅克比矩阵、动力学、轨迹规划、跟踪控制这些都要了解，推荐《Modern Robotics》

hades.mech.northwestern.edu/index.php/Modern_Robotics

我之前也简单总结过一份机器人学简介（感兴趣的同学可以私信我获取）：

2. 基础模型

现在其实不用看很多模型，基本上把Transformer还有Diffusion Layer这两个搞清楚就能很好的应对。路线可以从MLP、RNN、Transformer、Stable Diffusion这些一个一个展开。推荐李沐在B站上的视频：

space.bilibili.com/1567748478

同时通过学习Transformer之后，了解一些LLM和VLM的技术原理是如何实现的，可以阅读LLama、Tiny-GPT4之类的相关文章进行理解。

3. 强化学习

做Locomotion的使用RL来设计控制器基本也是标配了，强化学习的入门可以参考我之前写过的文章：

"强化学习入门学习路线（精心整理）"

主要明白和理解Q-Learning、Temporal Difference、Policy Gradient以及Actor-Critic。

4. Robotics+LLM

这里可以参考我写的系列文章，了解LLM是如何应用在Robotics上的：

"Robotics+LLM系列通过大语言模型控制机器人"

5. 模仿学习

我个人观点是模仿学习相对于强化学习可能会发挥出更大的作用，特别是在有了多模态数据（视觉、触觉、力觉、位置、速度等）的基础上。这里推荐阅读Diffusion Policy：

"Robotics+LLM系列Diffusion Policy"

以及Action Chunking Transformers：

"ALOHA--ACT算法精讲"

6. 其他

ROS、计算机网络、线性代数、Python、C++、数据结构等基础。

7. 代码实现

推荐Diffusion Policy的官方代码，在Push-T环境下进行复现：

github.com/real-stanford/diffusion_policy

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！

自动驾驶感知：目标检测、语义分割、BEV感知、毫米波雷达视觉融合、激光视觉融合、车道线检测、目标跟踪、Occupancy、深度估计、transformer、大模型、在线地图、点云处理、模型部署、CUDA加速等技术交流群；

多传感器标定：相机在线/离线标定、Lidar-Camera标定、Camera-Radar标定、Camera-IMU标定、多传感器时空同步等技术交流群；

多传感器融合：多传感器后融合技术交流群；

规划控制与预测：规划控制、轨迹预测、避障等技术交流群；

定位建图：视觉SLAM、激光SLAM、多传感器融合SLAM等技术交流群；

三维视觉：三维重建、NeRF、3D Gaussian Splatting技术交流群；

自动驾驶仿真：Carla仿真、Autoware仿真等技术交流群；

自动驾驶开发：自动驾驶开发、ROS等技术交流群；

其它方向：自动标注与数据闭环、产品经理、硬件选型、求职面试、自动驾驶测试等技术交流群；

扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！