# AI大模型如何赋能智能座舱_大语言模型 智能座舱

AI 大模型如何赋能智能座舱

从上海车展上，我们看到由于智能座舱配置性价比较高，已经成为车企的核心竞争点之一，随着座舱硬件规模化装车，蔚小理、岚图、极狐等新势力开始注重座舱多模态交互，通过集成语音/手势/触控打造智能化差异体验。车展期间，百度、商汤、华为等拥有大模型的厂商相继推出智能座舱产品，我们认为 AI 大模型的落地，将加速赋能座舱语音助手向“AI 智能管家”升级，有望推动座舱人机主动式交互时代的到来。

智能座舱演进到了什么阶段？——全面朝 4.0 多模态阶段迈入

我们将汽车座舱从机械时代到智能时代的发展划分为 5 个阶段，可以看到现阶段下座舱正处于从 3.0（以特斯拉 Model3/Y 的简配为代表）到 4.0（以理想 L9 的高配为代表）的演进阶段。该阶段重要特征即视听触多模块硬件加速升级，丰富汽车座舱智能生态。我们参加了 2023 年上海国际车展，车展中我们看到造车新势力、传统车企、Tier1 等新产品的展出和发布。我们看到智能座舱配置的性价比推动其渗透率快速提升，已经由原先造车新势力“一骑绝尘”的方式，转换全行业“齐头并进”。搭载方案转向座舱视听触多模态硬件全方位升级，印证了 4.0 时代加速到来，

大模型如何赋能座舱？——“AI管家”打造差异化体验

我们认为目前多模态交互的背后仍是通过“语音+触摸屏”来实现控制，靠乘客主动发起方能实现的指令识别型“被动式交互”。大模型的落地，将加速软件能力升级，推动座舱 5.0 人机主动式交互时代的到来。

大模型有望：

（1）通过赋能语音助手对于乘客的语音语义理解能力。打通其在视觉、听觉、触觉等多模态应用上的操控力，形成深度的乘驾人机主动式互动体验。

（2）摆脱座舱硬件堆栈同质化。通过大模型赋能语音助手或将成为“AI 智能管家”，因算法不同而具有不同的特色和功能，进而形成车企自身独特的智能化差异，构筑核心竞争力。

比较看好的产品方向：

（1）视觉：传统车载 TFT-LCD 显示技术的快速迭代，逐步趋向大屏、高清化。此外 HUD 结合 AR 技术兴起，法规允许 E-Mirror 上车，多态显示技术交互。我们测算 23-30E 全球车载显示硬件规模有望达 1723 亿元，CAGR 为 10.2%。

（2）听觉：通过搭载更多数量/不同区位扬声器实现环绕体验，增加数字功放/低音炮等器件提升听觉质感。我们测算 23-30E 全球座舱声学硬件规模有望达到约 483 亿元，CAGR 为 14.2%。

（3）触觉：3DTOF 作为最适合 AI 视觉的传感器，用于支持手势交互/DMS/乘客识别功能，目前已经在理想、问界、BBA 等率先上车，大模型发展有望驱动需求快速提升.

智能座舱：4.0 至 5.0，从多模态到大模型

如果我们将汽车座舱从机械时代到智能时代的发展划分为 5 个阶段，我们认为现阶段下座舱正处于从 3.0（以特斯拉 Model3/Y 的简配为代表）到 4.0（以理想 L9 的高配为代表）的全面演进阶段。该阶段重要特征即视听触多模块硬件加速升级，丰富汽车座舱智能生态。

（1）座舱 1.0-2.0：最开始座舱的 1.0 时代，仅有机械仪表盘和车载收音机等寥寥数个车载元件，座舱主要以功能性为主。行至座舱 2.0 时代（20 世纪 80 年代后），随着信息技术革命，中控屏应运而生，可以初步显示行车信息及实现舱内控制功能，同时电气式仪表盘广泛应用，为驾驶员提供更多辅助信息。车载 DVD 功能的出现开启了汽车座舱娱乐化属性的重要一步。

（2）座舱 3.0-4.0：后随着汽车实现区域集成架构，高性能、高集成、高扩展性的座舱域控制器以开始助推智能化加速。我们认为在座舱 3.0 时期（2010 年后），中控屏、液晶仪表盘、音响等基础视听硬件，以及车灯、座椅等均得到了全方位升级；此外 Carplay 等应用上车也开启了车机互联的时代。随后国内造车新势力不断推进座舱往 4.0 时代发展（2020 年后），我们看到 HUD、副驾/后排屏、电子后视镜开始陆续上车，杜比音效、AI语音及手势交互甚至 VR 眼镜等功能不断创新，快速丰富座舱智能化体验。

（3）座舱 5.0：展望未来座舱 5.0 生态，在中央集成架构下，整车智能化水平将达到一个新的高度。我们认为随着大模型的赋能，AI 语音助手将加速转变为“AI 智能管家”，进行深度人机情感交互。此外，参考 2023 年 CES 大会上宝马 i Vision Dee 概念车的构思：全息投影、透明显示、车灯投影、电子墨水、裸眼 3D 等元素或进一步升级。

2023 年上海国际车展看到造车新势力、传统车企等新产品的展出和发布。智能座舱的渗透已经由原先造车新势力“一骑绝尘”的方式，转换全行业“齐头并进”，行业搭载方案转向座舱多模态升级，印证了 4.0 **时代加速到来。**具体而言包括：1）视觉：车载屏幕向大屏化、多屏化、高清化的方向发展，HUD 加速上车。2）听觉：扬声器、功放数量增加，致力于打造沉浸式听觉享受。造车新势力：蔚来发布第二代数字座舱，搭载于 EC7、ET7、新款 ES8；理想：L7 延续L9/L8 亮眼座舱配置，打造家庭座舱体验；极狐：20.3 英寸中控屏与副驾/仪表/HUD 多屏交互，装载哈曼卡顿音响；广汽埃安：Hyper GT14.6 寸 2.5k 中控屏+23 个 HIFI 扬声器实现 3D 环绕立体声场。

传统车企：宝马：X1 搭载第 8 代 BMW iDrive 操作系统，配备 10.7 寸悬浮式曲面屏及HUD，满足驾乘者的个性化需求；大众：新车型 ID.7 VIZZION 主打智能乘坐空间，内置15 英寸 2k 悬浮中控屏及 AR-HUD，配备哈曼卡顿音响。

4.0 阶段是座舱往多模态演进的时期，硬件升级>软件升级。目前多模态硬件的堆栈背后仍是通过“语音+触摸屏”来实现控制，主要交互停留在“命令识别”层面，靠乘客主动发起方能实现的“被动式交互”，各模态之间仍互为独立。

往后随着硬件逐步上车，座舱交互性和操控便捷性的重要程度逐步凸显。车企开始探索舱内智能化交互，“语音助手”或成为核心交互载体。看到目前新势力在座舱交互上已经有所突破。例如智能化领先的小鹏语音助手小 P 可以支持多指令识别、离线响应。蔚来人车交互系统 NOMI 具有较强的学习功能和语音指令识别功能，此外还能根据不同状况表现出相对应的情感，与车主进行简单对话。而理想的“理想同学”同样属于可以由关键词触发,能够执行语音/手势/触控命令的初级智能 AI。

往后看大模型的落地，或将加速软件能力升级，推动座舱 5.0 人机主动式交互时代的到来。大模型有望：（1）通过赋能语音助手对于乘客的语音语义理解能力，提升全功能操控力。打通其在视觉、听觉、触觉等多模态应用上的操控力，形成深度的乘驾人机主动式互动体验。（2）打造智能生态差异化，摆脱座舱同质化。通过大模型赋能语音助手或将成为“AI智能管家”，因算法不同而具有不同的特色和功能，进而形成车企自身独特的智能化差异。

商汤日日新大模型亮相车展，大模型接入座舱。4 月 18 日上海车展上，商汤亮相了其“日日新 Sensenova”大模型，并展示了其中文语言模型“商量 SenseChat”以及“如影 SenseAvatar”等与座舱的结合，我们看到通过大模型可以赋予座舱多种生成式 AI 能力，提供包括情绪感知、智能助手、基于情感的对话、创意内容生成、个性交互等一系列功能，应用场景也可以拓展到娱乐、办公、购物、休息等。

1. AI 数字人：根据乘客偏好设置，形成数字虚拟人与乘客进行交流，形象趋近于“AI 座舱管家”，是乘客与车机的交互对象。

2)信息查询强化：通过语音询问乘客可以获得具体信息查询输出，此外还包括关于餐厅推荐、旅行路径规划、给儿童创造读物的创意性输出。

3)图片自动生成：类似 Midjourney 可以为乘客自动生成各种各样的图片。

4)安全识别：可以根据乘客是否登记分为嘉宾/主人，可以根据不同乘客的记录的偏好推荐其合适的内容产品。同时具备更好的 DMS（驾驶员监测）、OMS（乘客检测）、儿童滞留等功能体验。

5)API 接入：支持外接第三方应用，协助实现会议管理、购物、差旅等功能。

百度推出座舱产品车载 OS 和语音 SDK，文心一言于多家用户开展内测。百度 Apollo 在上海车展前夕举办汽车智能化发布会，发布了全新升级的驾舱图产品矩阵，座舱方面百度发布车载 OS 和语音 SDK。其中，语音 SDK 基于大模型的本地化部署，具有全双工和毫秒级响应的优点，可以为车企提供更先进而出色的智能座舱体验。百度 SDK 突出优势包括：（1）将一切座舱功能集成到语音助手，可以通过语音实现舱内全功能调节；

（2）支持“多路对话”，不同的乘客可以在同一时间与语音助手展开交流并下达指令。目前包括集度、吉利、长城、红旗、岚图、东风启辰等主机厂已经宣布接入基于文心大模型的生成式对话产品文心一言（ERNIE Bot），开启自身座舱大模型的内测。

华为积极布局座舱 AI，大模型于秋季首发 M9 上落地。华为盘古大模型基于鲲鹏和昇腾算力底座，由 NLP（中文语言）大模型、CV（视觉）大模型、科学计算大模型、多模态大模型和 Graph（图网络）大模型 5 个模型组成。4 月 17 日车展前夕，在华为 nova11 系列及全场景新品发布会上，余承东宣布 2023 年秋季发布 AITO 问界 M9 将搭载 AI 大模型。

其语音助手“小艺”通过领先的多模态自适应技术，针对语速、语音、文本，对用户指令进行多维度综合判断，可以实现类似人与人的主动交流。目前“小艺”已经能够：

（1）根据日常通勤的情况自动提供通勤道路异常的提醒；（2）判断长途驾驶场景时，检测到车主有疲劳驾驶状态主动打开座椅按摩；车内午休/通勤回家后打开自动小憩模式，记录用户喜欢的氛围。（3）推荐适应当前车辆情况的驾驶模式；（4）停车找位的好帮手。

据高工智能汽车研究院，2022 年中搭载智能数字座舱（大屏+语音+车联网+OTA）前装标配交付 795.05 万辆，搭载率为 39.89%，仍有较高渗透空间。市场规模方面，根据 IHSMarkit 预测，全球智能座舱市场规模将从 2021 年的 420 亿美元增长到 2030 年的 681 亿美元，2022-2030 年 CAGR 为 5.52%。IHS 预测国内智能座舱市场增速领先全球，国内规模从 2021 年 99 亿美元预计提升至 2030 年 247 亿美元，2022-2030 年 CAGR 为 10.69%，我国智能座舱规模全球占比将从 2021 年 24%左右上升到 2030 年的 36%。

现阶段下智能座舱已经处于全面向 4.0 阶段发展的时期，已经从新势力领军转换

为行业内齐跑。硬件的装载是实现软件层交互的基础，座舱硬件已率先迎来大规模上车机遇，首先看好视听触多模态硬件：显示、音响以及 AI 视觉硬件 TOF 模组等快速装车，车端业务有望高速增长。在智能座舱大模型生态发展下，拥有大模型和机器视觉技术布局的软件层企业同样有望受益。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】